跳到主要内容

1 篇文档带有标签「dataloader」

查看所有标签

数据流水线基础设施

从磁盘到 GPU 的喂数据全链路——剖析数据加载与 Tokenization 的 I/O 阻塞、POSIX 与对象存储的吞吐差异、Ray Data/JuiceFS 缓存加速,并用 DataLoader 实测吞吐曲线。