1 篇文档带有标签「zero」

拆解混合精度训练的显存账本，逐阶推导 ZeRO-1/2/3 切分 optimizer state / gradient / parameter 的显存与通信复杂度，并在 DeepSpeed 中实测三档 stage 的峰值显存与吞吐。