1 篇文档带有标签「sharding」

从预训练语料采样策略、分布式数据分片、epoch 与 token 预算到课程学习（Curriculum Learning），构建可复现、无重复、负载均衡的训练数据供给层。