分布式训练范式与 3D 并行拆解数据并行/张量并行/流水线并行（含 1F1B 气泡控制）与序列/上下文/专家并行，从 Megatron-LM 与 DeepSpeed 源码视角理解 3D 并行的通信代价与切分策略。