数据流水线基础设施
从磁盘到 GPU 的喂数据全链路——剖析数据加载与 Tokenization 的 I/O 阻塞、POSIX 与对象存储的吞吐差异、Ray Data/JuiceFS 缓存加速，并用 DataLoader 实测吞吐曲线。
2 篇文档带有标签「storage」
查看所有标签现代 AI 存储架构优化
从 GPUDirect Storage 直达显存到万节点 checkpoint 风暴的工业级解法，讲透 AI 训练存储链路的带宽墙与 I/O 优化。
从磁盘到 GPU 的喂数据全链路——剖析数据加载与 Tokenization 的 I/O 阻塞、POSIX 与对象存储的吞吐差异、Ray Data/JuiceFS 缓存加速，并用 DataLoader 实测吞吐曲线。
从 GPUDirect Storage 直达显存到万节点 checkpoint 风暴的工业级解法，讲透 AI 训练存储链路的带宽墙与 I/O 优化。