2 篇文档带有标签「checkpoint」

FSDP / DeepSpeed / DDP 选型与调优、Megatron-Core 并行、BF16/FP16/FP8 混合精度策略、分布式 checkpoint 与恢复、scaling laws 与超参 sweeps——从框架原理到亲手落一份可恢复的分片 checkpoint。

从 GPUDirect Storage 直达显存到万节点 checkpoint 风暴的工业级解法，讲透 AI 训练存储链路的带宽墙与 I/O 优化。