2 篇文档带有标签「megatron」

FSDP / DeepSpeed / DDP 选型与调优、Megatron-Core 并行、BF16/FP16/FP8 混合精度策略、分布式 checkpoint 与恢复、scaling laws 与超参 sweeps——从框架原理到亲手落一份可恢复的分片 checkpoint。

拆解数据并行/张量并行/流水线并行（含 1F1B 气泡控制）与序列/上下文/专家并行，从 Megatron-LM 与 DeepSpeed 源码视角理解 3D 并行的通信代价与切分策略。