主流框架与工具实践
FSDP / DeepSpeed / DDP 选型与调优、Megatron-Core 并行、BF16/FP16/FP8 混合精度策略、分布式 checkpoint 与恢复、scaling laws 与超参 sweeps——从框架原理到亲手落一份可恢复的分片 checkpoint。
2 篇文档带有标签「training」
查看所有标签数据集采样、分片与课程学习
从预训练语料采样策略、分布式数据分片、epoch 与 token 预算到课程学习（Curriculum Learning），构建可复现、无重复、负载均衡的训练数据供给层。