L1.6 主流厂商 AI 芯片对比

三维坐标　layer: L1（硬件与算力编排）｜level: Senior/Architect｜pillar: 硬件架构

本文是 L1 的收官篇。目标不是吹捧任何一家硅厂，而是把「FLOPS / HBM / 互联 / 算子栈」四个维度拉成一张可量化的对比矩阵，让你在面对采购清单、容量规划、异构选型时，能从 datasheet 数字直接推导出「这块卡到底适合训什么、推什么」。

⚠️ 数据口径声明：文中所有性能数字均取自各厂商公开 datasheet / 白皮书口径，不同版本、不同稀疏/稠密假设下会有出入。一切以官方最新 datasheet 为准，可能随版本变化；本文标注的目的是建立量级感与对比方法，而非提供采购合同级精度。

学习目标

前置知识：读过 L0 全层（尤其 L0.2 三大物理墙：算力墙/显存墙、Roofline 拐点）与本层 L1.1（SM/Tensor Core/达芬奇微架构）、L1.5（互联与 scale-up 域）；知道 TFLOPS、HBM 带宽（TB/s）、NVLink/HCCS（GB/s）分别是什么量级即可。无需任何采购或硬件评测经验。
学完产出：① 能把任意一块 AI 芯片拆成「FLOPS / HBM 容量 / HBM 带宽 / 卡间互联 / 算子软件栈」五列，并对齐到同一口径（区分稠密 vs 稀疏 FLOPS、区分网络 Gb/s 与 HBM TB/s）填进对比矩阵；② 能用「算术强度阈值 = 峰值算力 / HBM 带宽」一句话判断一块卡是「算力型」还是「带宽型」，从而说清它擅长 prefill/训练还是 decode/推理；③ 能区分 B200/B300/MI355X/910C/TPU v7 各自的定位，并说清为什么 Rubin/MI400/910D 等路线图参数「以官方 datasheet 为准、不可当成型成绩」；④ 能从工程视角论证「算力追平 ≠ 可无痛迁移」，估算 CUDA→CANN 国产化替代的成本结构；⑤ 亲手跑一段纯 CPU 的 Python 脚本，把 datasheet 参数换算成「每 TFLOPS 成本 / 每 GB HBM 成本 / 算术强度阈值 / 每瓦算力」并排序，把「看数字」变成「算结论」。
阅读姿势：盯住一条主线——「AI 芯片选型从来不是比谁的峰值 TFLOPS 大，而是比『算力—带宽—互联—生态』四者在你的真实负载上的平衡」。每看到一个亮眼数字，先问三件事：是稠密还是稀疏？是训练口径还是推理口径？是量产实测还是路线图宣称？把这三问养成肌肉记忆，你就拿到了横评的入场券。

背景与现状

AI 芯片之争，表面看是「谁的 TFLOPS 数字更大」，本质却是 「算力 — 显存带宽 — 互联」三者的平衡艺术。一块卡的标称峰值算力再高，若 HBM 带宽喂不饱、卡间互联拖后腿，在真实大模型负载下也只是「纸面巨兽」。

从产业格局看，截至 2026 年主流 AI 训练/推理芯片可归为五大阵营：

NVIDIA 阵营：以 Blackwell / Blackwell Ultra（B200/GB200/B300/GB300） 为当前主力、Rubin（VR200，HBM4 + NVLink 6 + Vera CPU，2026 H2 规划） 为下一代，配合最成熟的 CUDA 生态，是事实上的行业基准线。护城河不在单卡算力，而在 CUDA + NVLink + NCCL 这套软硬一体全栈。
华为昇腾阵营：以 昇腾 910C（Ascend，达芬奇架构 NPU） 为代表，并用 CloudMatrix CM384 超节点（384 卡光互联）以「系统规模」对标 NVL72，是国产化替代与受限供应链场景的核心选项，软件栈为 CANN + AscendC。
AMD 阵营：以 MI350 / MI355X（CDNA4，288GB HBM3e、原生 FP4/FP6，2025 H2 量产） 为代表，MI400 + Helios 机架（HBM4，2026 路线） 紧追 Rubin，主打大 HBM 容量与开放生态，软件栈为 ROCm + HIP。
云厂自研 ASIC 阵营：Google TPU v7（Ironwood，推理为主，单 Pod 9216 芯片）、AWS Trainium2（量产）/Trainium3（路线）——大厂用自研芯片为自家云降本，绑定自有框架（JAX/XLA、Neuron）。
推理专精阵营：Groq LPU（极低延迟推理）、Cerebras WSE-3（晶圆级、超高吞吐）、Intel Gaudi 3（性价比挑战者）——在特定推理场景以差异化路线切入。

业界信号（截至 2026 年中）：选型关键词已从「谁 TFLOPS 大」转向**「FP4 推理性价比 + 机柜级 scale-up 规模 + 生态可迁移性」** 三件套。一方面，FP4（NVIDIA NVFP4、AMD FP4/FP6）成为推理低精度标配，单卡 HBM 普遍迈过 256–288GB（B300、MI350 同档），「显存而非算力往往才是推理真正瓶颈」的判断在 2026 依然成立（呼应 L0.2「显存墙」）；另一方面，竞争单位从「单卡」上移到「机柜/超节点」——GB300 NVL72、华为 CM384、AMD Helios 的对决，本质是「谁能把更多卡连成一个低延迟大显存域」。

原理与架构

理解芯片对比，最有效的方式是把每个维度拆开，逐列对齐到同一口径下，再回到「真实负载需要什么」去解读数字。

2.1 大型对比矩阵表（公开 datasheet 口径）

以下数字为公开 datasheet / 厂商路线图量级口径，FP16/BF16 列默认指稠密（dense） 算力，FP8/FP4 列若为稀疏（sparsity）会单独标注。以官方 datasheet 为准，可能随版本变化；Rubin / MI400 为 2026 路线图，数字属官方宣称值。

维度	NVIDIA B200	NVIDIA B300 (Blackwell Ultra)	NVIDIA Rubin VR200⁴	昇腾 910C	AMD MI355X	Google TPU v7
架构 / 状态	Blackwell（量产）	Blackwell Ultra（2025 H2 量产）	Rubin（已官宣量产，2026 H2 交付）	达芬奇（量产）	CDNA4（2025 H2 量产）	Ironwood（已发布）
FP16/BF16 (稠密)	~2.25 PFLOPS	~2.5 PFLOPS 级	更高（官方宣称）	~800 TFLOPS 类别¹	~2.5 PFLOPS 级	ASIC 口径不同²
FP4 (推理峰值)	~9 PFLOPS（稠密）/ ~18 PFLOPS（稀疏）	~15 PFLOPS 级（密集 NVFP4）	~50 PFLOPS 级/卡（宣称）	以 INT8/FP8 为主³	~20 PFLOPS 级（FP4/FP6）	推理优化 ASIC
HBM 类型	HBM3e	HBM3e	HBM4	HBM3	HBM3e	HBM
HBM 容量	192 GB	288 GB	~288 GB（宣称）	~128 GB 类别¹	288 GB	192 GB
HBM 带宽	8 TB/s	~8 TB/s	更高（HBM4）	~3.2 TB/s 类别¹	~8 TB/s	高带宽
卡间互联	NVLink 5（1.8 TB/s）	NVLink 5（1.8 TB/s）	NVLink 6（~3.6 TB/s）	HCCS / CM384 光互联	Infinity Fabric / UALink	ICI（TPU 专用）
算子软件栈	CUDA	CUDA	CUDA	CANN / AscendC	ROCm / HIP	JAX / XLA

¹ 昇腾 910C 公开 datasheet 细节有限，部分数字为业界推测/类别量级，以华为官方发布为准。 ² Google TPU 为推理优化 ASIC，FLOPS 口径与 GPU 不直接可比；Ironwood 单 Pod 可达 9216 芯片、集群算力达 EFLOPS 级。 ³ 昇腾低精度以 INT8/FP8 为主，FP4 非其当前主流硬件原生路径；跨厂横评需先对齐口径。 ⁴ Rubin VR200 已于 2026 年 6 月官宣进入量产（full production），批量交付自 2026 H2 起；算力/HBM 为官方宣称值，最终规格以正式发布为准。

逐维度解读：

算力（FLOPS）：2026 的代际差距主要体现在 FP4 推理峰值（B300 ~15 PFLOPS、MI355X ~20 PFLOPS、Rubin 宣称 ~50 PFLOPS/卡），但 FP4 仅适用于推理；训练仍主要看 BF16/FP8。横评时务必对齐精度档位，否则就是拿苹果比橘子。
HBM 容量：B300 与 MI355X 同为 288GB，是「装得下大模型 / 长 KV Cache」的第一梯队；Rubin 一代靠 HBM4 进一步抬高带宽天花板。
HBM 带宽：对于 memory-bound 的 decode 阶段（生成 token），带宽往往比算力更决定吞吐——这是 2026 推理选型的第一关键。
互联：竞争已上移到机柜级——NVLink 5/6 + NVSwitch（NVL72/NVL144）、华为 CM384 光互联、AMD UALink/Helios，是构建大规模 All-Reduce 域的关键。

2.2 「算力 vs 带宽」决定了芯片擅长什么

一块芯片是「算力型」还是「带宽型」，可用 算术强度（Arithmetic Intensity）阈值 来判定——即 峰值算力(FLOPS) / HBM带宽(Byte/s)，单位是 FLOP/Byte。这正是 Roofline 模型的拐点。

这里的关键在于：芯片阈值 = 峰值算力 / 带宽。当负载的算术强度低于芯片阈值时，再高的 TFLOPS 也用不满，瓶颈彻底落在 HBM 带宽上。LLM 的 decode 阶段几乎永远是 memory-bound——这就是为什么 B300 / MI355X 用「大带宽 + 288GB 大容量」直接抢占推理市场。模块 3 的实验会让你亲手把这个阈值算出来。

2.3 各家底层算子编程方案横评

维度	NVIDIA CUDA	华为 CANN / AscendC	AMD ROCm / HIP
编程语言	CUDA C++ / PTX	AscendC（类 C++）/ TBE	HIP C++（语法贴近 CUDA）
核心库	cuBLAS / cuDNN / CUTLASS / NCCL	ACL / aclnn 算子库 / HCCL	rocBLAS / MIOpen / RCCL
编译器	nvcc / nvrtc	CANN 图编译器	hipcc（基于 LLVM）
生态成熟度	最成熟，框架原生支持	国产化场景成熟，需框架适配	快速追赶，HIP 可半自动移植 CUDA
迁移成本	基准（无需迁移）	高（算子需重写为 AscendC，或走 torch_npu 适配）	中（`hipify` 工具可转译大部分 CUDA 代码）
典型入口	`torch` + 自定义 CUDA kernel	`torch_npu` / MindSpore + AscendC	`torch`(ROCm 版) + HIP kernel

核心结论：算力数字可以追平，但 软件栈生态成熟度才是真正的护城河。NVIDIA 的优势 80% 来自 CUDA 生态——海量现成 kernel、框架原生支持、调优工具链。昇腾的 CANN + AscendC 在国产化场景已可用，但自定义算子需要重写；AMD 的 HIP 选择「语法贴近 CUDA + hipify 转译」路线，迁移成本最低，是「想跳出 CUDA 又不想全部重写」的折中方案。

动手实践：极简代码实操

实验目标：用纯 CPU 即可跑的 Python 脚本，把各芯片 datasheet 参数录入 dict，自动计算「每 TFLOPS 成本」「带宽算力比（算术强度阈值）」并排序输出，把「看数字」变成「算结论」。产出物：一张排序后的对比表 + 对结果的解读。无需 GPU，纯 CPU 秒级跑完。

3.1 环境准备

# 推荐 Python 3.11；用 uv 或 venv 隔离。本实验仅用标准库，零三方依赖。
python3 -m venv .venv && source .venv/bin/activate
# 无需 pip install 任何包

3.2 代码：芯片参数录入与量化排序

# chip_compare.py —— 纯 CPU 运行，零三方依赖
# 数据为公开 datasheet 量级口径，以官方为准，可能随版本变化。

# 价格为公开市场参考量级（美元），仅用于演示性价比计算口径，非报价。
# 型号与数字为 2026 视角的量级口径，以官方为准。云厂自研 ASIC（如 TPU v7）无
# 公开零售价，不纳入性价比脚本，仅在上方对比矩阵中作为参考。
CHIPS = {
    #              fp16_tflops, hbm_gb, bw_tbs, link_gbs, tdp_w, price_usd
    "B200":        dict(fp16=2250, hbm=192, bw=8.0,  link=1800, tdp=1000, price=35000),
    "B300-Ultra":  dict(fp16=2500, hbm=288, bw=8.0,  link=1800, tdp=1400, price=45000),
    "Ascend-910C": dict(fp16=800,  hbm=128, bw=3.2,  link=600,  tdp=450,  price=20000),
    "MI355X":      dict(fp16=2500, hbm=288, bw=8.0,  link=1075, tdp=1400, price=30000),
    "MI300X":      dict(fp16=1300, hbm=192, bw=5.3,  link=896,  tdp=750,  price=18000),
}

def enrich(name, c):
    # 算术强度阈值 = 峰值算力(FLOP/s) / 带宽(Byte/s)，单位 FLOP/Byte
    # fp16 TFLOPS = 1e12 FLOP/s；bw TB/s = 1e12 Byte/s，故比值可直接用 fp16/bw
    ai_threshold = c["fp16"] / c["bw"]   # TFLOPS(1e12 FLOP/s) ÷ TB/s(1e12 B/s) 同量纲，直接相除
    return dict(
        name=name,
        fp16=c["fp16"],
        hbm=c["hbm"],
        bw=c["bw"],
        # 每 TFLOPS 成本（美元/TFLOPS）：越低越划算
        cost_per_tflops=round(c["price"] / c["fp16"], 2),
        # 每 GB HBM 成本（美元/GB）：推理大模型时更关键
        cost_per_gb=round(c["price"] / c["hbm"], 1),
        # 算术强度阈值（FLOP/Byte）：越低越偏「带宽型」，越擅长 memory-bound 的 decode
        ai_threshold=round(ai_threshold, 1),
        # 每瓦算力（TFLOPS/W）：能效，数据中心 TCO 关键
        tflops_per_watt=round(c["fp16"] / c["tdp"], 2),
    )

rows = [enrich(n, c) for n, c in CHIPS.items()]

def show(title, key, reverse=True, unit=""):
    print(f"\n=== 按 {title} 排序 ===")
    for r in sorted(rows, key=lambda x: x[key], reverse=reverse):
        print(f"  {r['name']:<14} {r[key]:>8}{unit}  "
              f"(FP16={r['fp16']}TFLOPS, HBM={r['hbm']}GB, BW={r['bw']}TB/s)")

# 1) 性价比：每 TFLOPS 成本，越低越好（升序）
show("每 TFLOPS 成本（越低越划算）", "cost_per_tflops", reverse=False, unit=" $/TFLOPS")
# 2) 每 GB HBM 成本，越低越好（升序）—— 大模型推理选型关键
show("每 GB HBM 成本（推理大模型关键）", "cost_per_gb", reverse=False, unit=" $/GB")
# 3) 算术强度阈值，越低越偏带宽型（升序）
show("算术强度阈值（越低越擅长 decode/memory-bound）", "ai_threshold",
     reverse=False, unit=" FLOP/Byte")
# 4) 能效：每瓦算力，越高越好（降序）
show("每瓦算力（能效/TCO）", "tflops_per_watt", reverse=True, unit=" TFLOPS/W")

3.3 运行与观察

python chip_compare.py

你会看到四张排序表。重点解读：

每 TFLOPS 成本榜上，国产昇腾与 MI300X 因价格优势往往靠前——这是「性价比替代」逻辑的量化依据。
每 GB HBM 成本榜上，MI300X / B200（192GB）在「装大模型」维度极具优势，呼应「显存才是推理瓶颈」。
算术强度阈值榜上，阈值越低的芯片越擅长 memory-bound 的 decode：把你的真实负载算术强度（如 LLM decode 通常 < 10 FLOP/Byte）与各芯片阈值对比，就能判断「这块卡能不能喂饱」。
每瓦算力榜决定数据中心的 TCO（总拥有成本）——电费与散热在三年周期里常超过卡本身价格。

方法迁移：把 CHIPS 里的 price 换成你拿到的真实采购报价、把 fp16 换成你负载实际用的精度档位，这张脚本就是一个可复用的「选型决策器」。

踩坑预警 (Gotchas)

稀疏 vs 稠密混淆：厂商 PPT 上最大的那个数字，十有八九是含稀疏（with sparsity）口径，稠密算力通常只有一半。横评必须先确认是否「含 sparsity」，否则 NVIDIA 的 FP8 3958（含稀疏）会被误当成稠密值，直接虚高一倍（H100 FP8 稠密值是 1979 TFLOPS）。
TF32 ≠ FP16：NVIDIA 的 TF32 总位宽 19-bit（1 符号 + 8 指数 + 10 尾数）的「伪 FP32」——指数范围同 FP32、尾数精度同 FP16，TFLOPS 介于 FP32 与 FP16 之间。看到「TF32 TFLOPS」别直接当 FP16 用——精度档位不同，可比性为零。
FP8/FP4 不能用于训练全程：B300 的 ~15 PFLOPS 是 FP4 推理口径，训练主路径仍跑 BF16/FP8。拿推理峰值算训练速度是经典错误。
跨厂口径不可比：昇腾的「INT8 TOPS」与 NVIDIA 的「FP8 TFLOPS」定义、稀疏假设都不同，直接比大小是陷阱。先对齐精度与稀疏口径，再比。
HBM 容量 ≠ 可用容量：framework 开销、显存碎片、KV Cache 预留会吃掉 10–20%，datasheet 的 192GB 不等于你能全用上。

深入思考

下面三题每题先给题干，再用 <details> 折叠一份图文并茂的参考答案。建议先合上答案自己想 3 分钟，再展开对照。

思考题 1：训练 vs 推理选型决策

你要为一个 70B 模型同时搭建训练集群与推理集群。结合本文的对比矩阵与算术强度阈值，训练集群与推理集群分别应优先看哪几列指标？为什么「训练看算力+互联、推理看 HBM 带宽+容量」会导致两边的最优选型可能是不同的芯片？

展开参考答案（含训练/推理选型分流图 + 算一遍）

结论：训练是 compute-bound 的「大 batch + 全局 All-Reduce」负载，瓶颈在峰值算力与卡间互联；推理（尤其 decode）是 memory-bound 的「逐 token 生成 + 大 KV Cache」负载，瓶颈在 HBM 带宽与容量。两者要看的列不同，最优芯片自然可能分叉——这正是 2.2 节「算术强度阈值」的直接推论。

用算术强度算一遍（呼应 2.2 节阈值判定，数量级估算）：

训练 / prefill：一次前向对一大块 token 做稠密 GEMM，算术强度可达 数百 FLOP/Byte——远高于任何芯片的阈值（B300 ≈ 2500 TFLOPS / 8 TB/s ≈ 312 FLOP/Byte），所以负载落在 Roofline 的算力屋顶下，谁峰值 TFLOPS 高、谁互联快谁赢。70B 训练单卡装不下，必须切分到几十上百卡，All-Reduce 通信量巨大，NVLink 5/6（1.8~3.6 TB/s）或 CM384 光互联直接决定扩展效率。
推理 / decode：每生成 1 个 token，权重几乎要从 HBM 全量读一遍，但只算极少的 GEMV，算术强度通常 < 10 FLOP/Byte——远低于芯片阈值，落在 Roofline 的带宽屋顶下。此时 312 FLOP/Byte 的算力屋顶根本够不着，吞吐由 HBM带宽 / 每token读取字节数 决定。70B FP8 权重约 70GB，再加长上下文 KV Cache，288GB 容量 + 8 TB/s 带宽的 B300/MI355X 才喂得动。

为什么会分叉：同样一块 288GB 的 B300，训练时你在乎它的 FP8 算力与 NVLink；推理时你在乎它的带宽与容量。但若预算有限，训练侧可能选「算力/互联最强」的旗舰，推理侧反而可选「每 GB HBM 成本更低」的卡（如 MI300X/MI355X，呼应 3.3 节「每 GB HBM 成本」榜）——因为推理用不满算力，多花在 TFLOPS 上的钱是浪费。一句话：训练为算力付费，推理为显存付费，付费对象不同，最优解就分叉。

思考题 2：国产化替代的真实成本

某团队现有一套基于 CUDA 自定义算子的训练代码，需迁移到昇腾 910C 实现国产化。请用 2.3 节的「算子编程横评表」，估算这次迁移的工作量分布——哪些部分（框架层 / 自定义 kernel / 通信原语）改动最大？为什么「算力追平」远不等于「可以无痛迁移」？

展开参考答案（含迁移成本分布图 + 工作量对比表）

结论：迁移成本不是均匀分布的——框架层（PyTorch→torch_npu）改动最小、通信原语（NCCL→HCCL）多为接口替换、真正的成本黑洞是「手写 CUDA 自定义算子→AscendC 重写」这一层。算力追平只解决了「峰值能不能达到」，却没解决「你那套贴着 CUDA 写的 kernel 在昇腾上是否存在、是否调优过」——而后者才是迁移工作量的大头。

工作量分布对比表（量级估算，实际比例随自定义算子占比浮动）：

层级	CUDA 侧现状	昇腾侧对应	改动量	为什么
框架层	PyTorch + 内置算子	`torch_npu` 适配 / MindSpore	小（~10%~20%）	主流算子已被 CANN 适配，多为换 device、装适配包、跑通
通信原语	NCCL（All-Reduce/All-Gather）	HCCL（语义对齐）	中（~20%）	接口基本一一对应，但拓扑、超时、超参需按 HCCS/CM384 重调
自定义 kernel	手写 CUDA / Triton / cuBLAS 调用	AscendC 重写 + 调优	大（~60%~70%）	调度哲学从「硬件隐式 warp 掩盖」变「软件显式流水编排」，长尾算子常无现成实现，须逐个手写 + 性能调优

为什么「算力追平」≠「无痛迁移」（呼应 2.3 节核心结论与 L1.1 微架构差异）：

算力是峰值，不是落地：910C 标称 ~800 TFLOPS 类别（注：公开 datasheet 有限，以官方为准），但峰值要靠算子把它跑出来。CUDA 侧有 cuBLAS/cuDNN/CUTLASS 几十年沉淀的高度调优 kernel，昇腾侧主流算子覆盖好、长尾/自定义算子需自建——你那段手写 CUDA 在昇腾上「不存在」，得用 AscendC 从零表达 Cube/Vector/Scalar 三单元的显式 set/wait flag 流水。
生态护城河 ≠ 硅性能：NVIDIA 80% 优势来自 CUDA 生态而非单卡算力。迁移成本压在「代码 → 硬件指令」这一跳，而它无法被上层框架完全抽象掉。
务实路径：先用 torch_npu 跑通主路径（吃掉框架层红利），再按 profiling 热点逐个把性能关键的自定义算子用 AscendC 重写、对齐精度与稀疏口径，最后调通 HCCL 通信——「先能跑、再调优」，把 60%+ 的预算留给 kernel 这层，才是国产化替代的真实成本模型。

思考题 3：TCO 而非单卡价格

财务给你两个方案：方案 A 用 H100（单卡贵、能效高），方案 B 用某国产卡（单卡便宜、功耗高）。请用脚本里的「每瓦算力」与「每 TFLOPS 成本」，构造一个三年期 TCO 模型（卡价 + 电费 + 散热 + 机柜密度），论证在什么电价/利用率假设下方案 B 反而更贵。给出你的决策边界。

展开参考答案（含 TCO 构成与交叉点图 + 算一遍）

结论：单卡便宜只赢在「卡价」这一项，而三年 TCO 里电费 + 散热常常反超卡价；当国产卡功耗显著更高（每瓦算力更低）时，存在一个「利用率 × 电价」的交叉点——超过它，方案 B 三年总成本反而高于 H100。决策边界 ≈ 让「卡价差」恰好被「三年电费差」抵消的那条线。

用脚本口径算一遍（数量级演示，数字为示意，非报价）：

设两块卡都提供同等可用算力，对比单卡三年成本：

项	方案 A：H100 类	方案 B：国产卡
卡价（CapEx）	30,000 美元	20,000 美元（便宜 10,000 美元）
整卡功耗（含整机均摊）	~700 W	~1000 W（高 ~300 W）
利用率假设	70%	70%
年运行小时	8760 h	8760 h
电价假设	0.12 美元/kWh	0.12 美元/kWh

方案 B 的三年「多耗电」成本：多 300 W × 70% × 8760 h × 3 年 ≈ 0.3 kW × 0.7 × 8760 × 3 ≈ 5519 度（注意：这已是三年合计电量，不要再乘 3），再 × 0.12 美元/kWh ≈ 662 美元电费；
再叠加散热（按数据中心 PUE 余量约 +30%~50%）≈ 额外 200~330 美元；合计 OpEx 差 ≈ 860~1,000 美元。
此电价下：卡价省了 10,000 美元，电费+散热只多花约 1,000 美元 → 方案 B 仍更省（净省 ~9,000 美元）。

找决策边界——让电费差抵消卡价差，求临界电价 p：

卡价差 10,000 美元 = 多耗电量 × p
5519 度(电，三年合计) × (1 + 0.4 散热余量) ≈ 7726 度
p* = 10,000 / 7726 ≈ 1.29 美元/kWh

决策边界：在 70% 利用率下，当电价超过 ~1.29 美元/kWh 时，方案 B 的三年电费+散热差才吃光 10,000 美元的卡价优势，B 才反而更贵。由于现实电价（哪怕欧洲高电价区也多在 0.2~0.4 美元/kWh）远低于这个临界点，在 70% 利用率下方案 B 几乎总是更省。若利用率拉到 100%（训练集群常年满载），临界电价降到 ~0.91 美元/kWh；若再算上机柜密度（高功耗卡每机柜能塞的卡更少 → 同等算力要更多机柜、供电、运维），交叉点还会更低。所以「单卡便宜」在『低/中利用率 + 常规电价』象限稳稳成立；只有在『常年满载 + 极端高电价 + 机柜受限』的叠加条件下，能效（每瓦算力）才会反超成为 TCO 的主导项——这正是 3.3 节「每瓦算力榜决定 TCO」的量化展开。

学习目标​

背景与现状​

原理与架构​

2.1 大型对比矩阵表（公开 datasheet 口径）​

2.2 「算力 vs 带宽」决定了芯片擅长什么​

2.3 各家底层算子编程方案横评​

动手实践：极简代码实操​

3.1 环境准备​

3.2 代码：芯片参数录入与量化排序​

3.3 运行与观察​

踩坑预警 (Gotchas)​

深入思考​

思考题 1：训练 vs 推理选型决策​

思考题 2：国产化替代的真实成本​

思考题 3：TCO 而非单卡价格​

延伸阅读​