2 篇文档带有标签「data-pipeline」

从磁盘到 GPU 的喂数据全链路——剖析数据加载与 Tokenization 的 I/O 阻塞、POSIX 与对象存储的吞吐差异、Ray Data/JuiceFS 缓存加速，并用 DataLoader 实测吞吐曲线。

从批/流 ETL、数据契约与质量门禁、PII 脱敏到 DVC 数据版本化与血缘，构建可信、可复现、可治理的 AI 数据管道。