02 DSA 微架构与数据流洞察
- 章节编号:02
- 所属层:H 硬件层(软硬协同核心,随 RTL 冻结代价最高)
- 关联 ADR:ADR-005(数据流策略)、ADR-006(计算阵列形态)、ADR-007(数值格式)、ADR-008(稀疏支持)
- 上游依赖:01 章(负载画像与量化诉求:小批量低延迟、能效优先、混合精度、确定性、内存带宽瓶颈)
学习目标
- 前置知识:读过 01 章(负载画像:batch≈1、能效优先、混合精度、1kHz 确定性、内存带宽瓶颈);知道「乘加(MAC)是深度学习算力的原子」「访存比计算慢一到两个数量级」这两条常识即可。无需 RTL/Verilog 经验。
- 学完产出:① 能说清四条计算阵列路线(脉动阵列 / 空间数据流 / 向量-VLIW / 可重构数据流)各自把「数据搬运」摊薄的机制,并解释为何脉动阵列/Cube 的 16³ = 4096 个 MAC 能把一次访存的数据复用几十上百次;② 能用「结构定义数据流(Hailo/Groq)在编译期把每条指令排到时钟周期」一句话讲清确定性执行,并解释它为何天然契合 1kHz 硬实时(p999);③ 能算清「端侧为何不能照搬 Groq SRAM-only」——用 VLA 权重 GB 级 vs 片上 SRAM 数百 MB 的容量账,推出「必须 DRAM 背靠 + 大 SRAM」;④ 能读懂 3.4 的横向对比表,判断 NVIDIA/Tesla/华为/地平线/Hailo/高通六条范式在能效、面效比、供应链上的取舍。
- 阅读姿势:盯住一条主线——「DSA 的一切微架构设计,都是为了在给定功耗下让乘加单元既永远有活干、又时序可预测」。能效(让 MAC 有活干)与确定性(时序可预测)是端侧具身芯片的两条并列 KPI,本章所有形态之争、数据流之争、精度之争,本质都在这两个目标之间找折中。
1. 范围与目标
本章决定芯片"算的核心"——计算阵列形态、数据流(数据如何在片上复用)、数值精度与稀疏支持。它直接决定能效与编译器可达的性能上限,且一旦随 RTL 冻结,软件几乎无法弥补。
核心问题
- 计算阵列选什么形态(脉动阵列 / 空间数据流 / 向量-VLIW / 可重构数据流)?
- 数 据流采用哪种复用策略(WS/OS/RS/NLR),如何兼顾小批量与多算子?
- 原生支持哪些数值格式(INT4/8、FP8、FP4/FP6、BF16)与块级缩放(MXFP4/NVFP4 类)?
- 是否做结构化稀疏(2:4 / 4:8),收益与精度代价?
- 如何兼顾确定性(具身硬实时)与可编程性(适配演进中的 VLA)?
2. 需求洞察(承接 01 章)
- 具体场景/任务:端侧人形机器人本体,batch≈1,运行 OpenVLA 7B / π0 3.3B(流匹配 10 步)+ 感知 ViT/CNN + 1kHz 控制。
- 由负载反推:
- 算力/能效:对标 Jetson Thor(2070 FP4 稀疏 / 1035 FP8 稠密 TFLOPS、能效较 Orin 3.5×);能效 TOPS/W 是第一 KPI。
- 小批量利用率:batch≈1 的小 GEMM/Attention 必须高利用率(大 batch 设计会"空转")。
- 精度:权重 INT4/INT8 + 激活 INT8/FP8 + 关键路径 BF16(ADR-001)→ 阵列须原生混合精度。
- 带宽:Attention+KV-cache、扩散多步迭代访存密集 → 数据流须最大化片上复用、减少 DRAM 往返。
- 确定性:1kHz 控制要求 p999 → 倾向静态可调度、时序可预测的计算结构。
- 端/边/中心差异:端侧重能效+确定性(小阵列+高复用);中心重吞吐(大阵列+大 batch)——架构需可缩放。
3. 技术现状与趋势(点名架构/公司 + 来源)
3.1 计算阵列形态(四条主流路线)
| 形态 | 代表(点名) | 特点 | 对具身端侧的契合 |
|---|---|---|---|
| 脉动阵列(Systolic, 多为 WS) | Google TPU(v1 起,2D 脉动 + 权重固定) | GEMM 吞吐高、控制简单;大 batch/高权重复用才高效 | 小批量利用率风险高,需编译/tiling 弥补 |
| 空间数据流(Spatial, RS) | MIT Eyeriss(Row-Stationary) | 同时复用权重/激活/psum,能效最优(AlexNet conv 比 WS/OS 节能 1.4–2.5×) | 端侧能效友好,但设计复杂、可编程性挑战 |
| 向量 / VLIW DSP | Qualcomm Hexagon、NVIDIA Thor PVA(视觉 DSP) | 灵活、适合不规则/标量/感知;能效中等 | 适合控制/感知协处理,做主算力偏弱 |
| 可重构 / 数据流(CGRA / Dataflow) | Groq TSP(全静态确定性)、Tenstorrent、SambaNova、Cerebras | 大规模并行、可重构;Groq 强调确定性低延迟 | 确定性与端侧实时高度契合;面积/成本需权衡 |
关键洞察:端侧能效优先 → 倾向空间数据流(RS 类)或灵活 数据流而非纯大脉动阵列;确定性诉求(1kHz 控制)使 Groq 式静态可调度思路有吸引力——可在编译期确定时序,天然满足 p999(关联 13 章实时调度)。
3.1a 数据流范式对比:数据搬运如何被摊薄
四条路线的分野,本质是**「数据在片上被复用几次」与「时序由谁决定」**两个维度的组合。下图把它们放到同一张坐标上——横轴是复用/能效,纵轴是确定性/可编程,便于理解我们为何取「空间/灵活数据流 + 静态确定性」这一象限。
三条路线摊薄访存的机制差异:
- 脉动阵列 / Cube(WS):权重固定在 PE 阵列里,激活像水一样流过——一次把权重装进阵列,就能被一整批激活复用,规则 GEMM 的算术强度(arithmetic intensity)被推得很高;代价是 batch≈1 时激活流不够长,阵列容易空转。
- 空间数据流(RS):不只固定权重,而是让权重、激活、部分和(psum)三者同时在 PE 阵列内近邻复用,把每一比特从 DRAM 搬上来的数据用到极致,因此能效最优;代价是数据流映射复杂,强依赖编译器。
- 结构定义数据流(Hailo/Groq):把整张网络的结构直接映射到硬件资源,编译期就把每条指令、每次搬运排到具体时钟周期,换来零抖动的确定性;代价是结构一旦匹配硬件,模型演进/动态 shape 就很难。
3.2 数值精度趋势(向 4-bit + 块级缩放收敛)
- NVIDIA Blackwell 第五代 Tensor Core:原生 FP4 / FP6,第二代 Transformer Engine 做微张量缩放:
- MXFP4:每 32 值共享一个 E8M0 power-of-two 缩放(微缩放标准)。
- NVFP4(NVIDIA):每 16 值共享一个 E4M3 缩放 + 两级缩放(per-block + per-tensor),精度优于 MXFP4;显存约为 FP16 的 1/3.5、FP8 的 ~1/1.8。
- 累加用 BF16/FP32。
- 趋势:推理数值从 FP8 向 FP4 + 块级(microscaling)缩放演进,在大模型上精度可接受(NVIDIA/学术验证)。OpenVLA 已验证 4-bit 量化半显存、精度基本无损。
- 对我们:阵列应原生支持 INT4/INT8/FP8 + 块级缩放的 FP4(MX/NV 类)+ BF16 累加;块级缩放是保精度关键,需硬件配合(关联 19 章量化)。
3.3 结构化稀疏趋势
- NVIDIA Ampere+ 2:4 结构化稀疏:每 4 个元素 2 个为零,理论吞吐翻倍、显存/带宽减半(需元数据索引)。
- Blackwell 对 NVFP4 引入 4:8 成对稀疏(每 8 元素分 4 对,2 对非零)。
- 现实:结构化稀疏"理论翻倍"但保精度的稀疏化生态不成熟,实际 SOTA 收益有限(SemiAnalysis 观点)。
- 对我们:可预留 2:4 稀疏通路,但不把性能押注于稀疏;优先把确定性收益(量化/数据流)做实。
3.4 业界具身/边缘 AI 推理芯片与微架构横向对比
结合主流具身机器人实际采用的 AI 芯片与各公司推理硬件微架构,做横向对比。范式归为五类:① GPU+Tensor Core(NVIDIA)② 自研 NPU·脉动/Cube 阵列(Tesla、华为)③ 自研 BPU·存算近存(地平线)④ 结构定义数据流(Hailo)⑤ 向量/CPU 异构(高通)。
3.4.1 代表芯片概览(点名 + 来源)
| 公司 / 芯片 | 微架构范式 | 算力(标称) | 功耗 | 工艺 | 内存 / 带宽 | 软件生态 | 具身/边缘落地 |
|---|---|---|---|---|---|---|---|
| NVIDIA Jetson Thor(Blackwell) | GPU + 第五代 Tensor Core | 2070 FP4 稀疏 / 1035 FP8 稠密 TFLOPS | 40–130W | 先进(Blackwell) | 128GB LPDDR5X / 273 GB/s | CUDA/Isaac/GR00T,最成熟 | Unitree H2 Plus、Boston Dynamics Atlas、Agility Digit(6 代) |
| Tesla AI5(自研) | 纯自研 NPU(去 GPU/ISP)+ MCM,矩阵引擎为 Transformer 定制 | ~2000–2500 INT8 TOPS | 250W(Optimus)/ 800W 峰 | 先进(TSMC/三星) | 144–192GB LPDDR5X / 0.77–1.5 TB/s | 完全私有(软硬协同) | Tesla Optimus(AI3/HW3:96×96 MAC/NPU,36.8 INT8 TOPS/NPU,14nm 260mm²;AI5 为最新自研代) |
| 华为昇腾 Ascend(达芬奇) | Cube 16×16×16(4096 FP16 / 8192 INT8 MAC/cycle)+ 2D 向量 + 1D 标量,脉动式 | 如 910:256 TFLOPS FP16 | 中-高 | 先进 | 高(HBM/LPDDR) | CANN(自研,生态成长中) | 边缘/机器人(昇腾 310 系) |
| 地平线 BPU 纳什(J6P) | 自研 BPU,L1 存算近存 + Transformer 引擎,软硬协同 | 560 TOPS(含 1/2 稀疏) | <50W | TSMC 7nm,37B 晶体管 | LPDDR5x / 204 GB/s | 自研编译器 + 可定制算子;利用率高(宣称 85%) | 车载为主,可延伸具身边缘;集成 ASIL-D |
| Hailo-8 / 15 | 结构定义数据流(网络结构直映硬件,32MB SRAM 驻留激活,免 DRAM) | 26 TOPS(Hailo-8) | ~2.5W | TSMC 16nm | 大片上 SRAM,几乎不访 DRAM | 专用 Dataflow 编译器 | 边缘视觉/机器人感知(CNN 强、Transformer 弱→15 改进) |
| 高通 Dragonwing IQ10 | 18 核 Oryon CPU + Hexagon NPU(张量+向量+标量),移动异构基因 | 官方宣称 up to 700 TOPS(以官方为准) | 5–15W | 先进(移动工艺) | LPDDR | Snapdragon/Hexagon SDK,移动生态成熟 | CES 2026 主打人形机器人(低功耗 + 5G) |
| Rockchip RK3588 | 通用 SoC + 小 NPU | ~6 TOPS | 低 | 8nm | LPDDR | 一般(RKNN) | 中低端机器人(如 AgiBot 灵犀 X2 基础任务) |
事实标杆:NVIDIA Jetson Thor 已是头部人形(Unitree/Boston Dynamics/Agility)的 onboard 计算;但其 40–130W 包络对电池供电人形偏重 → 高通 Dragonwing(5–15W)、地平线(<50W)、Hailo(2.5W) 正以"能效/成本"切入,这正是我们的差异化窗口。
3.4.2 多维度对比(面效比 / 工艺 / 供应链 / 编程编译验证 / 算子开发调优 / 能效)
评分 1–5(越高越优);"工艺复杂度/供应链成本"维度按"对我们越有利"打分(即工艺越不依赖最先进节点、供应链越可控,分越高)。
| 芯片 / 范式 | 能效(TOPS/W) | 面效比(TOPS/mm²) | 工艺复杂度(越易越高分) | 供应链成本(越可控越高分) | 编程/编译/验证 | 算子开发与调优 | 综合定位 |
|---|---|---|---|---|---|---|---|
| NVIDIA Thor(GPU+TC) | 3 | 3 | 2(依赖最先进工艺) | 2(高价/受限) | 5(CUDA 最成熟) | 5(库全/自动) | 通用强、生态王,但功耗/成本/可得性差 |
| Tesla AI5(自研 NPU) | 3–4 | 4(纯 NPU 去冗余) | 2 | 3(自有但量产难) | 2(全私有) | 3(仅服务自有模型) | 极致软硬协同,但封闭、功耗高 |
| 华为达芬奇(Cube) | 4 | 5(Cube 面积密度高,较向量 8.6×) | 3 | 4(国产可控) | 3(CANN 成长中) | 3(Cube 编程约束多) | 算力密度高,生态/算子门槛中 |
| 地平线 BPU(近存) | 5 | 4 | 4(7nm 即可,DTCO) | 4(国产、成本低) | 4(自研编译/可定制算子) | 4(自动编译器+可定制) | 能效+成本+利用率均衡,车规延伸 |
| Hailo(结构数据流) | 5(2.5W/26TOPS) | 5 | 4(16nm 即达成) | 4(成本低) | 3(数据流编译特殊) | 2(结构受限,非常规模型难) | 极致能效/面效,灵活性差(Transformer 弱) |
| 高通 Hexagon 异构 | 4 | 3 | 3 | 3 | 4(SDK 成熟) | 4(工具链成熟) | 低功耗均衡,移动生态强 |
| 我方目标(空间/灵活数据流+静态确定性) | 5(目标) | 4(目标) | 4(不追最先进工艺) | 4(可控) | 3(靠 MLIR 复用补) | 3(自动生成为主) | 能效+确定性+成本差异化,生态靠 MLIR/AI-Native 补 |
3.4.3 各架构范式的优势与代价
- GPU + Tensor Core(NVIDIA):优势=可编程性/生态/算子库碾压级成熟(CUDA/Isaac/cuDNN),通用性强;代价=面效比/能效一般、依赖最先进工艺、功耗高、价格贵、供应受限。
- 自研 NPU·脉动/Cube(Tesla / 华为):优势=软硬协同极致、规则 GEMM 面积密度高(华为 Cube 较向量 8.6× 算力密度);代价=Cube/脉动对非规则算子与小批量不友好、编程约束多、生态/验证成本高(Tesla 全私有)。
- 自研 BPU·存算近存(地平线):优势=能效与利用率高(宣称 85% vs N 卡 30–40%)、7nm 即可、成本低、国产可控、软硬协同 + 自动编译器;代价=偏车规/Transformer 定向,具身通用性待验证。
- 结构定义数据流(Hailo):优势=面效比/能效极致(2.5W/26TOPS,免 DRAM 访问)、确定性好;代价=灵活性差(结构需匹配硬件,Transformer/动态 shape 弱)、算子开发受限——与具身"模型快速演进"冲突。
- 向量/CPU 异构(高通):优势=低功耗、移动工具链成熟、5G 集成、成本/供应好;代价=主算力密度偏弱,大模型吞吐有限。
对面效比与工艺/供应链的关键判断
- 面效比(TOPS/mm²) 决定 die 成本:Cube/脉动与结构化数据流面积密度最高;但端侧真正约束是能效与小批量利用率,单看面效比会误导。
- 工艺复杂度:NVIDIA/Tesla 走最先进工艺堆算力;地平线(7nm)、Hailo(16nm) 证明"架构创新 + 软硬协同可在成熟工艺上拿到高能效"——这对供应链可控、成本敏感的我们极具参考价值(避免被最先进制程与产能"卡脖子")。
- 供应链成本:对标 NVIDIA"高价+受限",国产成熟工艺 + 自研架构是成本与可得性的现实路径(地平线已验证可比 Orin 每车低约 1000 元人民币)。
3.5 深度案例:Groq LPU / TSP(确定性数据流标杆)
Groq 由前 Google TPU 架构师创立(2016),其 LPU(Language Processing Unit)是" 编译器静态调度 + 确定性执行"的极致代表,与我们的实时确定性诉求高度同源,值得专门拆解——借其哲学、弃其实现。
3.5.1 方案要点(点名 + 来源)
- 架构:基于 TSP(Tensor Streaming Processor),软件定义、单核;功能单元 MXM(矩阵)+ VXM(向量)+ SXM(交换/搬移)+ MEM;数据东西向流、指令南北向流(systolic 式流式),producer-consumer 流式编程 + 流式寄存器文件。
- 内存:230MB 片上 SRAM 作主权重存储(非 cache)、无 DRAM;SRAM 带宽 ~80 TB/s(对比 GPU HBM ~8 TB/s,约 10×)。
- 编译器:MLIR-based GroqFlow 在编译期把每条指令、数据搬运、跨芯片网络同步精确排到每个时钟周期 → 零抖动、确定性执行。
- 工艺:14nm GlobalFoundries、725mm² 大 die——刻意用成熟工艺(无复杂调度器 + SRAM 不需极致密度),换成本/良率优势。
- 扩展:plesiosynchronous 芯片间协议对齐数百芯片"如单核";GroqRack 最多 576 芯片;靠张量并行(切层 across 芯片)降单次前向延迟(非堆 batch)。
- 性能/能效:Llama-3 8B ~800 tok・s、70B ~300 tok・s(autoregressive,相比 A100 快数倍至十余倍);首 token <100ms;~1–3 J/token(GPU 10–30,约 10× 能效);TDP ~450W。
- 2025 动态:NVIDIA 与 Groq 达成约 200 亿美元非独家授权 + 人才协议。
3.5.2 优劣与适用边界
| 维度 | 优势 | 局限 |
|---|---|---|
| 延迟/确定性 | 零抖动确定性、超低延迟、实时友好 | — |
| 带宽 | SRAM 80TB/s 免 DRAM 瓶颈 | — |
| 能效 | ~10× J/token 优于 GPU | TDP ~450W(数据中心级) |
| 容量 | — | 230MB/芯片极小;70B 需 ~576 芯片 → 硬件成本约 H100 的 40× |
| 负载 | autoregressive LLM 实时生成强 | 不擅 batch;仅预编译 curated 模型(无任意 ONNX/GGUF) |
| 部署 | 数据中心 GroqCloud | 不支持本体侧/边缘侧;云 API only,芯片不单卖 |
3.5.3 对我们的启示(借哲学、弃实现)
- ✅ 借鉴:① 编译器静态调度 + 确定性执行——正是 1kHz 控制硬实时(p999)所需,Groq 证明其可工程化(关联 07/08/13 章);② MLIR-first 编译器主导(GroqFlow)印证我们 MLIR 全栈 + 编译器托管路线(07/15/16 章);③ 成熟工艺 + 架构/编译创新即可拿能效/确定性(印证 02/03 章)。
- ❌ 拒绝:① SRAM-only(230MB)+ 多芯片(576) 对端侧具身完全不可行(VLA 权重 GB 级、本体功耗/体积/成本受限)→ 必须 DRAM 背靠 + 大 SRAM(03 章 ADR-010);② Groq 是中心/云推理形态,非端侧模板;③ 封闭(curated 模型 + 云 API)不适合"开放 SDK + 适配演进 VLA"。
- 🎯 结论:Groq LPU 是**"中心推理"演进的重要参考**(确定性 + 张量并行 + 编译器主导),其哲学注入我们的实时控制路径与编译栈;但端侧基线不照搬 SRAM-only 实现。
3b. 由演进反推的芯片诉求(量化)
| 维度 | 当前(π0 3.3B/OpenVLA 7B,端侧 batch=1) | 未来(π0.7 5B+、多模型并发、世界模型) | 架构含义 |
|---|---|---|---|
| 算力 | 数百 TFLOPS(低精度)够用 | 向 ~1–2k 低精度 TFLOPS,能效更关键 | 阵列规模可缩放,小批量高利用率 |
| 精度 | INT4/8 + FP8 + BF16 累加 | + 块级缩放 FP4(MX/NV 类) | 原生混合精度 + microscaling 硬件 |
| 数据流 | 高片上复用降带宽 | 更长上下文/KV-cache 压力更大 | RS/灵活数据流 + 大 SRAM(03 章) |
| 确定性 | 1kHz 控制 p999 | 多任务并发下仍需确定性 | 静态可调度结构 + 抢占隔离 |
| 稀疏 | 选配 2:4 | 视生态成熟度 | 预留通路,不押注 |
4. 候选方案与对比矩阵
4.1 计算阵列形态
| 候选 | 性能/能效 | 成本 | 风险 | 生态成熟度 | 演进性 | 可驾驭度 | 小结 |
|---|---|---|---|---|---|---|---|
| A. 大脉动阵列(WS) | 3 | 4 | 2 | 5 | 4 | 4 | 吞吐好但小批量利用率低、能效一般 |
| B. 空间数据流(RS)+ 灵活复用 | 5 | 3 | 4 | 2 | 4 | 3 | 能效最优,设计/编译复杂 |
| C. 向量/VLIW 为主 | 3 | 4 | 2 | 4 | 3 | 4 | 灵活但主算力能效弱,宜作协处理 |
| D. 静态可调度数据流(Groq 式确定性) | 4 | 2 | 4 | 2 | 3 | 3 | 确定性强契合实时,面积/成本高 |
建议方向:以B(空间/灵活数据流,能效优先)为主算力,吸收 D 的静态可调度/确定性思想(编译期定时序),辅以 C(向量/DSP) 处理感知/控制/不规则算子。脉动阵列可作为规则 GEMM 的子结构,但不做唯一形态。
4.2 数值格式
- 建议方案:INT8/INT4 + FP8(E4M3/E5M2)+ 块级缩放 FP4(对标 NVFP4 的 16-值块 + 两级缩放)+ BF16 累加;FP6 视面积收益评估。
4.3 稀疏
- 建议方案:预留 2:4 结构化稀疏通路,默认不依赖;待 19 章/模型团队验证保精度稀疏后再启用。
5. 关键权衡、风险与依赖
- 能效 vs 可编程性:RS/灵活数据流能效高但编译复杂——强依赖编译器(15/16 章),与 MLIR 后端协同设计;若编译跟不上,理论能效无法兑现(最大风险)。
- 小批量利用率:任何阵列在 batch≈1 都面临利用率下降,需 tiling/算子融合/多流并发弥补(16/14 章)。
- 确定性 vs 通用性:全静态调度(Groq 式)确定性好但灵活性差,VLA 演进快需保留动态余量 → 折中:关键控制路径静态、认知层动态。
- 块级缩放硬件成本:microscaling(MX/NV)需额外缩放因子存储与处理逻辑,面积/带宽有代价,但对 FP4 保精度必要。
- 稀疏生态不成熟:押注稀疏风险高(SemiAnalysis)。
- 软硬接口冻结红线:数据流/精度/稀疏一旦定型即影响 ISA(07 章)与全编译栈,必须在 端侧基线阶段 与硬件联合评审锁定。
6. 结论与待决项
初步结论
- 端侧主算力倾向能效优先的空间/灵活数据流,吸收静态可调度/确定性思想,辅以向量/DSP 协处理;不做单一大脉动阵列。
- 原生 混合精度(INT4/8 + FP8 + 块级缩放 FP4 + BF16 累加),块级缩放是 FP4 保精度关键。
- 预留 2:4 稀疏但不押注。
- 架构须可缩放以支撑端→边→中心,并保留可编程余量适配 VLA 演进。
- 横向对比的关键判断(3.4):NVIDIA 生态最强但功耗/成本/供应受限;地平线(7nm)/Hailo(16nm)证明"架构创新+软硬协同可在成熟工艺上拿到高能效" → 我们走成熟工艺 + 自研架构 + MLIR/AI-Native 补生态,以能效/确定性/成本/供应可控做差异化,避免与 NVIDIA 在最先进工艺与生态上硬拼。Hailo 的"结构定义数据流"虽面效/能效极致但灵活性差,提示我们须在能效与可编程性间折中(保留对 VLA 演进的可编程余量)。
待决项
- 计算阵列具体形态与规模(PE 数/片上 RF 容量)——需与硬件团队结合功耗/面积预算定。
- FP4 采用 MX 还是 NV 风格块级缩放(精度 vs 面积/生态)——需 19 章量化实验佐证。
- 确定性"静态调度"覆盖范围(仅控制路径 vs 全栈)——与 13 章联合定。
ADR 候选
- ADR-005 数据流策略:主算力采用能效优先的空间/灵活数据流(RS 类),关键实时路径采用静态可调度;不采用单一大 WS 脉动阵列。
- ADR-006 计算阵列形态:主张量引擎 + 向量/DSP 协处理的异构组合,规模可缩放。
- ADR-007 数值格式:原生 INT4/INT8/FP8/BF16 + 块级缩放 FP4(对标 NVFP4 16-值块两级缩放);FP6 待评估。
- ADR-008 稀疏支持:预留 2:4 结构化稀疏,默认关闭,依模型验证启用。
7. 端→边→中心演进影响
| 维度 | 端侧 | 边缘 | 中心 |
|---|---|---|---|
| 阵列规模 | 小、能效优先 | 中、密度 | 大、吞吐 |
| batch | ≈1 | 小批量多路 | 大 batch |
| 数据流 | RS/灵活 + 静态确定性 | 灵活 | 高吞吐 tiling |
| 精度 | INT4/FP4 激进 | INT8/FP8 | FP8/BF16 余量 |
不可逆点与规避:数据流/精度/稀疏是硬件强绑定决策,需在设计时保留向上缩放(更多 PE、更大 batch、对外高速互联) 与精度向上兼容(FP8/BF16 路径),避免端侧极致优化堵死中心化。
深入思考
下面三题每题先给题干,再用
<details>折叠一份图文并茂的参考答案。建议先合上答案自己想 3 分钟,再展开对照。
思考题 1:16³ = 4096 个 MAC 的脉动阵列/Cube 为何能把访存摊薄
华为达芬奇 Cube 一拍完成 16×16×16 的矩阵乘加,内含 4096 个 MAC。结合 3.1/3.1a 节的权重固定(WS)复用机制,论证:为什么规则矩阵乘在这种阵列上能把「从 DRAM 搬一次数据」的成本摊到几十上百次乘加上?并说明为何 batch≈1 的具身负载会削弱这个红利。
展开参考答案(含算术强度算一遍 + 复用比对比表)
结论:矩阵乘的本质是「同一块数据被反复用」——一个 16×16 的权重块装进 Cube 后,会被输入矩阵的每一列复用;数据复用次数正比于另一维度的长度,所以搬一次数据能喂上百次乘加,访存成本被摊得极薄;而 batch≈1 让「另一维度」缩短,复用比塌陷,阵列随之空转。
用具体数字算一遍(以 Cube 16×16×16、一个 M×K @ K×N 矩阵乘为例,数量级估算):
- 一次装载:把 16×16 的权重子块搬上片,访存 256 个元素;把一列 16×1 的输入搬上片,访存 16 个元素。
- 一拍算力:Cube 一拍做 16×16×16 = 4096 次乘加。
- 复用比(算术强度) = 乘加数 ÷ 访存数。若 N(输出列数,常正比于 batch × 序列长度)= 512:权重块被复用 512 次 → 权重访存 256 个元素却支撑了 256×512 ≈ 13 万次乘加,平均每搬 1 个元素做 ~512 次乘加。
- 对比 batch≈1、单步动作生成:N 塌到 ~1–16,权重块几乎搬来只用一遍 → 每搬 1 个元素只做几次乘加,算术强度掉一到两个数量级,阵列大部分时间在等数据(Roofline 落到带宽受限区)。
| 场景 | 输出维 N(≈batch×seq) | 权重复用比 | 阵列状态 |
|---|---|---|---|
| 中心训练大 GEMM | ~4096 | 高(数千次) | 计算受限,MAC 跑满 ✅ |
| 端侧 VLA prefill | ~数百 | 中 | 尚可,靠 tiling 维持 |
| 端侧 batch=1 单步动作 | ~1–16 | 低(个位数) | 带宽受限,阵列空转 ❌ |
这对我们的含义:纯大脉动阵列/Cube 的高面效比,只有在复用比高时才兑现;端侧 batch≈1 恰是它的软肋——所以本章 §4.1 选空间数据流(RS,额外复用激活/psum)+ 灵活复用做主算力,并靠算子融合 / 多流并发 / 更大片上 SRAM(03/16 章)把复用比人为补高,而不把宝押在单一大 Cube 上。(回链:§3.1a、§4.1、§3b。)
思考题 2:结构定义数据流(Hailo/Groq)的确定性为何契合 1kHz 硬实时
Hailo 与 Groq 都把「整张网络的结构直接映射到硬件、编译期排定每个时钟周期」。结合 3.1a/3.5 节,论证:这种「静态调度」为什么天然满足 1kHz 控制的 p999(千分位尾延迟)约束?对比 GPU 的「动态调度」为什么在硬实时上难保证?
展开参考答案(含确定性 vs 动态调度对比图 + 尾延迟算一遍)
结论:硬实时要的不是「平均快」,而是「最坏情况可预测」;结构定义数据流在编译期就把每条指令钉死到时钟周期,运行时没有缓存缺失、没有调度抖动、没有争用等待,于是最坏延迟 = 平均延迟,p999 天然收敛;GPU 靠运行时动态调度换吞吐,代价是尾延迟被缓存/调度/争用的不确定性抬高,难保 1kHz 的 1ms 死线。
用具体数字算一遍(1kHz 控制的死线预算):
- 1kHz 意味着控制环每 1000μs(1ms) 必须产出一个动作/力矩指令,超一次就可能失稳。p999 = 每 1000 次里最多 1 次踩线,工程上常要 p999 也稳在死线内。
- 静态数据流:一段控制小网被编译成固定 T 个时钟周期,比如 200μs;因为没有缓存缺失/争用,每次都是 200μs,抖动 ≈ 0 → p50 = p999 = 200μs,死线余量 800μs,稳。
- GPU 动态调度:同一段小网平均可能 150μs(比静态还快),但偶发一次缓存 miss + kernel 启动排队 + 被大 kernel 抢占,尾部可能冲到 1200μs → p999 超 1ms 死线。平均更快却「偶尔翻车」,硬实时不接受。
- 结论:硬实时看 p999 而非 p50。静态数据流用「牺牲峰值灵活性」换「尾延迟可证明有界」,正是控制环所需。
对我们的落地:这正是 §4.1「吸收 D 的静态可调度思想」与 §5「关键控制路径静态、认知层动态」的由来——1kHz 伺服这类硬实时路径走静态可调度结构(编译期定时序),VLA 认知层保留动态余量。借 Groq 的确定性哲学,但不照搬其 SRAM-only 云端实现(见思考题 3) 。(回链:§3.1a、§3.5.3、§5、§4.1。)
思考题 3:端侧为何不能照搬 Groq 的 SRAM-only 架构
Groq 用 230MB 片上 SRAM 做主存、彻底不要 DRAM,换来 80TB/s 带宽与零抖动。结合 3.5 节与 VLA 权重规模,算一算:为什么端侧具身芯片不能照搬「SRAM-only」,必须「DRAM 背靠 + 大 SRAM」?
展开参考答案(含容量账算一遍 + SRAM-only vs DRAM 背靠对比表)
结论:SRAM-only 的死穴是容量——单芯片片上 SRAM 只有数百 MB,而一个 VLA 权重就是 GB 级;Groq 靠「576 芯片拼一个模型」在云端绕开容量墙,但端侧本体受功耗/体积/成本约束根本装不下几百颗芯片,只能用「大 SRAM 缓存热数据 + DRAM 存全量权重」的层级方案。
用具体数字算一遍(VLA 权重 vs 片上 SRAM 容量账):
- VLA 权重规模:OpenVLA 7B 参数,BF16 ≈ 14GB;即便 INT4 量化,权重仍 ~3.5GB;π0 3.3B 的 INT4 也在 ~1.7GB 量级(01/21 章)。加上 KV-cache 与感知缓冲,端侧主存诉求 ≥8GB。
- 单芯片片上 SRAM:Groq 一颗 230MB、Hailo 一颗 32MB——即便取 Groq 的 230MB,离一个 INT4 VLA 的 1.7–3.5GB 也差 ~8–15×,单芯片 SRAM 根本装不下一个 VLA。
- Groq 的绕法:云端用 576 芯片做张量并行,把一个 70B 切到几百颗 SRAM 里拼起来 → 硬件成本约 H100 的 40×。数据中心供得起功耗/机柜/成本,端侧本体(电池、几十瓦、手掌大小)绝无可能塞几百颗芯片。
- 端侧唯一解:DRAM(LPDDR,GB 级)存全量权重 + 片上大 SRAM 缓存热数据——用带宽换容量,SRAM 只驻留最热的权重/激活/KV。这正是 §3.5.3「必须 DRAM 背靠 + 大 SRAM(03 章 ADR-010)」的算账依据。
| 维度 | Groq SRAM-only(云端) | 端侧 DRAM 背靠 + 大 SRAM |
|---|---|---|
| 容量 | 单芯 230MB,靠 576 芯片拼 | DRAM GB 级 + SRAM 数十~百 MB 缓存 |
| 装一个 INT4 VLA | 单芯装不下(差 ~8–15×) | 单芯片可容纳 ✅ |
| 成本/功耗 | ~40× H100,数据中心级 | 单 SoC,几十瓦、可上本体 |
| 结论 | 中心推理可行 | 端侧唯一现实解 |
对我们的含义:借 Groq 的确定性/编译器哲学(思考题 2),但弃其 SRAM-only 实现;端侧走 DRAM 背靠 + 大 SRAM 的层级存储,把「带宽 vs 容量」的矛盾交给数据流复用(思考题 1)与压缩(19 章)去缓解。(回链:§3.5.2、§3.5.3、§3b、§5。)
附:信息来源
区分公开/估计;参考时间 2026-07(Thor/IQ10/Groq 时效数据以官方 datasheet 为准)。
- 数据流taxonomy(WS/OS/NLR/RS)与能效:Chen et al.《Eyeriss: A Spatial Architecture for Energy-Efficient Dataflow for CNNs》ISCA 2016(RS 比 WS/OS 节能 1.4–2.5×);MIT EEMS 教程;arXiv:2505.08992《Dataflow & Tiling Strategies in Edge-AI FPGA Accelerators》(2025)。[公开]
- 脉动阵列/WS:Google TPU v1(2D 脉动、权重固定)。[公开]
- NVIDIA Blackwell 精度/稀疏:NVIDIA Technical Blog《Introducing NVFP4》(NVFP4 16-值块 E4M3 两级缩放、显存 ~1/3.5 FP16);arXiv:2512.02189《Microbenchmarking NVIDIA's Blackwell》;SemiAnalysis《NVIDIA Tensor Core Evolution》(2:4 稀疏、Blackwell 4:8 NVFP4 稀疏、稀疏生态不成熟)。[公开]
- 可重构/确定性数据流:Groq TSP(静态确定性)、Tenstorrent/SambaNova/Cerebras 公开资料。[公开]
- Groq LPU/TSP 深度案例(3.5):Groq 官网 lpu-architecture 与博客《Inside the LPU》《What is a LPU》(230MB SRAM 主存、~80TB/s、MXM/VXM/SXM、MLIR-based GroqFlow 静态调度、plesiosynchronous、GroqRack 576 芯片、~1–3 J/token、Llama-3 8B ~800 tok・s / 70B ~300 tok・s);Grokipedia/Medium《Groq's Deterministic Architecture》(14nm GF、725mm²、零方差);Introl/Misar/SiliconAnalysts(70B 需 ~576 芯片≈40× H100 成本、不擅 batch、curated 模型、云 API only、NVIDIA 约 200 亿美元授权)。tok・s 数为官方/媒体公开值,以官方为准。[公开 + 媒体]
- 向量/DSP:Qualcomm Hexagon、NVIDIA Jetson Thor PVA 数据手册。[公开]
- 华为达芬奇(Da Vinci):Heng Liao《DaVinci: A Scalable Architecture for NN Computing》HotChips 31(Cube 16³ = 4096 FP16/8192 INT8 MAC、Tiny/Lite/Max 可缩放、Cube 较向量 8.63× 算力密度、Ascend 910 256 TFLOPS FP16);华为 Atlas/昇腾资料。[公开]
- 地平线 BPU 纳什 / 征程 6:Horizon Robotics 官网与 Wikipedia(J6P 560 TOPS 含 1/2 稀疏、37B 晶体管、TSMC 7nm、LPDDR5x 204GB/s、<50W、集成 ASIL-D);Longbridge 分析(BPU 利用率 ~85% vs N 卡 30–40%、较 Orin 每车低约 1000 元人民币)。[公开 + 媒体]
- Tesla AI5 / FSD:Teslarati(AI5 tape-out、面向 Optimus)、Tesorb/neuralwired/MK(AI5 ~2000–2500 INT8 TOPS、144–192GB LPDDR5X、250–800W、去 GPU/ISP;FSD HW3/AI3 单 SoC、14nm 260mm²、NPU 96×96 MAC、36.8 INT8 TOPS/NPU;HW4 为更新工艺代)。[公开 + 媒体]
- Hailo-8/15:Hailo 资料(Structure-Defined Dataflow、26 TOPS@2.5W、TSMC 16nm、32MB SRAM 免 DRAM、Transformer 为弱项)。[公开 + 媒体]
- 高通 Dragonwing IQ10:CES 2026 报道(18 核 CPU、人形定向、5–15W、官方宣称 up to 700 TOPS,以官方为准;RB5 15 TOPS 基线)。[媒体]
- NVIDIA Jetson Thor 时效:NVIDIA 官方(128GB LPDDR5X、2070 FP4 稀疏 / 1035 FP8 稠密 TFLOPS、40–130W、273 GB/s),最终规格以官方 datasheet 为准。[公开]
- 具身机器人实际用芯:NVIDIA 新闻稿/Blog 与 Unitree H2 Plus 官网(Jetson Thor onboard;Unitree/Boston Dynamics/Agility 采用);AgiBot 灵犀 X2 用 RK3588 + Orin NX(媒体)。[公开 + 媒体]
- 面效比/利用率/能效推算、复用比/尾延迟/容量账粗算:基于上述公开资料的工程判断。[估计]