1 篇文档带有标签「kernel」

拆解 FlashAttention 家族（FA-1/2/3）的 tiling + online softmax + 重计算三板斧，量化与 MoE 内核工程，并用 Triton 手写简化 FlashAttention 与 PyTorch SDPA 对数值、对速度。