跳到主要内容

具身智能术语表

  • 适用范围:本系列技术洞察文档
  • 维护约定:新章引入的具身/机器人/模型/部署专有名词须在本表登记

本表按模型与算法 → 压缩与优化 → 部署与运行时 → 系统与中间件 → 硬件与芯片 → 评测与数据组织。解释面向 AI Infra 技术选型读者,非纯学术定义。

学习目标

  • 前置知识:读过 00 层导览与 01 章负载画像(知道「具身智能 = 感知-行动闭环 + 硬实时约束」);对 Transformer / 量化 / 编译器有基本概念即可。无需机器人学或控制理论背景——本表的职责就是把跨章节冒出来的黑话拉平,让你带着一份「随手可查的锚点」读后续技术章。
  • 学完产出:① 能在 VLA / VLM / ER / 动作专家 / 双系统 / 三系统之间不打架地区分,知道哪个是「认知」哪个是「动作头」;② 能说清扩散策略、流匹配、一致性策略、单步策略(OneDP/OFP)在去噪步数—延迟这条轴上的位置,理解「减步」与「量化」为何正交;③ 能区分硬实时 / 软实时 / 准实时 / WCET / jitter,并说出各自在具身栈里落在哪个频率带、由谁(安全岛 / RTOS / NPU)承担;④ 能不混淆 TOPS / TFLOPS、稀疏 / 稠密、bit / byte,读芯片 datasheet 时不被口径忽悠。
  • 阅读姿势:把本表当作全站术语锚点——它不是让你一次读完的散文,而是一部字典。建议先扫一遍分类图(下一节 mermaid)建立心智地图,遇到具体章节的陌生词再回本表精查。盯住一条主线:具身术语的所有区分,最终都服务于「在有限端侧算力/功耗下,把一个多模态大模型压进硬实时的控制回路」这一个工程命题。凡是新章引入的专名,都应先回本表登记再展开,避免同一个概念在不同章各叫各的名。

术语全景:六大分类如何咬合成一条具身推理链

下图把本表六大分类还原成一条从模型到硬件的落地链路——先看清楚它们如何咬合,再逐表精读会轻松很多:

读图要点:这是一条单向落地 + 指标反推的闭环。模型(1)太大跑不动 → 压缩(2);压好了要有 runtime 承接(3);runtime 要嵌进实时回路(4);回路跑在具体芯片上(5);最后用评测(6)量化好坏,再把「不达标」反推回模型/压缩层。本表的每一行术语,都能在这张图上找到它的位置。


1. 模型与算法(Model & Algorithm)

中文English解释
具身智能Embodied AI / Embodied Intelligence智能体拥有物理本体(机器人),通过感知-行动闭环与环境交互;负载含 VLA、扩散策略、分层控制等,对延迟/确定性/能效有硬约束。
视觉-语言-动作模型Vision-Language-Action (VLA)统一处理图像/语言指令并输出机器人动作的策略模型;代表 OpenVLA、π0、GR00T、Gemini Robotics。动作可为离散 token 或连续向量/轨迹。
视觉-语言模型Vision-Language Model (VLM)多模态理解模型(图像+文本),不直接输出低层动作;在具身栈中作"认知/任务规划"层(System 2)。常与独立动作头组合。
具身推理Embodied Reasoning (ER)Google Gemini Robotics 提出的规划/推理模型,与 VLA 执行模型分工:"先想再做";负责工具调用、子目标分解,非 1kHz 控制。
扩散策略Diffusion Policy用扩散模型生成连续动作序列的策略;Columbia/MIT 2023 代表作;需多步去噪,端侧靠减步(DDIM/一致性蒸馏)压缩延迟。
流匹配Flow Matching连续归一化流的一种训练/采样范式;π0 动作头采用流匹配 + Euler 积分;较扩散可更少步数(如 5 步)达到相近质量。
动作分块Action Chunking一次推理输出未来 H 步动作(如 H=50),执行期间可异步生成下一块(RTC);降低有效策略频率需求,提高控制平滑性。
实时分块Real-Time Chunking (RTC)Physical Intelligence 提出的异步执行方案:执行当前 action chunk 同时生成下一 chunk,用 inpainting 衔接;容忍 +200ms 注入延迟。
训练期 RTCTraining-Time RTC在训练阶段加入 action prefix / delay conditioning,消除推理期 inpainting 开销;H100 上约 108ms vs 135ms。
离散动作 tokenDiscrete Action Tokens将连续关节/末端动作量化为 bin(如 256-bin),用自回归 LM 预测;OpenVLA 路线;prefill 重、decode 串行。
跨本体Cross-Embodiment同一策略适配不同机器人(关节数/动作维度不同);π0 等通过 state/action padding 与条件化实现;编译器须支持动态 shape 子集。
双系统架构Dual-System Architecture低频大模型(VLM) + 高频动作头(DiT/扩散/小 Transformer)流水线;GR00T N1.5/N1.7、Gemini VLA+ER 均属此类。
三系统架构Triple-System ArchitectureFigure Helix 02:S2 认知 VLM(7–9Hz) + S1 视觉运动(200Hz) + S0 运动先验(1kHz,~10M 参数);模型分级即系统级压缩。以官方为准。
扩散 TransformerDiffusion Transformer (DiT)用 Transformer 骨干做扩散/流匹配动作头;GR00T System 1、部分 VLA 动作专家采用;可独立 TensorRT/AOT 编译。
动作专家Action Expertπ0 中与 VLM 共享前缀、专责动作生成的 ~300M 子网络;多步流匹配在 suffix 上迭代,VLM 前缀可 KV-cache。
一致性策略Consistency Policy将扩散策略蒸馏为少步/单步一致性模型;~10× 推理加速;小策略网(ACT/Diffusion Policy)常用。
单步扩散策略One-Step Diffusion Policy (OneDP)NVIDIA Research:Diffusion Policy → 单步 KL 蒸馏;1.5Hz→62Hz;动作头可编译为单次前向。
单步流策略One-Step Flow Policy (OFP)从零训练的自蒸馏流匹配,1-NFE 超 100 步 baseline;硬件只需优化单次前向。
混合一致性策略Hybrid Consistency Policy (HCP)短 SDE 随机前缀 + 单步 consistency jump;平衡多模态与实时性。
动作分块 TransformerAction Chunking with Transformers (ACT)~80M CVAE+Transformer baseline;输出 action chunk;常作具身实验对照组。
OctoOcto27–93M 模块化 Transformer 策略;开源研究友好;小模型 baseline。
世界模型World Model学习环境动力学/未来状态的模型(常含 3D/视频 attention);扩展阶段+ 算子;端侧部署算力/带宽压力大于当前 VLA。
投机解码Speculative Decoding小模型 draft + 大模型 verify,加速 AR decode;TensorRT Edge-LLM EAGLE-3;VLA 离散 token 路线可用。
前缀缓存Prefix Caching / KV-cacheVLM 对固定视觉+语言前缀的 K/V 张量缓存,避免每步重算;π0/OpenVLA prefill 优化的核心。

2026-07 时效补注(以官方为准):本表模型族以 2026 年中公开信息为准——Physical Intelligence 已迭代至 π0.7(流匹配动作头,5B 级);NVIDIA GR00T N1.7 已 GA(双系统 VLM+DiT,Isaac 栈);Figure Helix 02 三层(S2/S1/S0) 为官方口径。具体参数/频率随版本演进,以厂商 datasheet 与官方博客为最终依据。


2. 压缩与优化(Compression & Optimization)

中文English解释
训练后量化Post-Training Quantization (PTQ)训练完成后用校准集确定 scale/zero-point;OpenVLA NF4、GR00T nvfp4 量产主路径;快速但具身须用 rollout 验收。
量化感知训练Quantization-Aware Training (QAT)训练期模拟量化误差;精度优于 PTQ 但成本高;用于旗舰任务或 PTQ 不达标时 LoRA+QAT 补精度。
非对称量化Asymmetric Quantization视觉塔/LLM/动作头采用不同 bit-width 与格式;如 ViT FP8 + LLM W4A8 + DiT FP16 计算;对标 GR00T Thor。
动作空间敏感量化Action-Centric QuantizationQVLA:按 action-space sensitivity 而非 hidden-state 误差分配 bit;通道级 16 混合。
权重量化Weight-Only Quantization (W4A16 等)仅压缩权重,激活 FP16/BF16;OpenVLA NF4;算力瓶颈在激活/访存时仍有效。
激活量化Activation Quantization (W4A8/W8A8)权重与激活均低比特;需硬件 MAC 与 scale 单元支持;FP8/NVFP4 为 Blackwell 端侧标杆。
NVFP4NVFP4 (NVIDIA FP4)Blackwell 16 值块缩放 FP4 格式;Jetson Thor GR00T LLM 采用;较 INT4 AWQ 约 1.1–2.3× 吞吐(公开 benchmark)。
AWQActivation-aware Weight Quantization权重量化 PTQ 方法;Orin 时代 INT4 主流;与 NVFP4 在 Thor 上并存。
GPTQ / NF4GPTQ / NF4 (NormalFloat4)LLM 社区 PTQ;OpenVLA 默认 NF4(bitsandbytes);非芯片专用 layout。
知识蒸馏Knowledge Distillation大模型(teacher)→小模型(student);OneDP/OFP/Helix 模型分级均属广义的系统级或步数蒸馏。
步数蒸馏 / 减步Step Distillation / NFE Reduction扩散/流匹配从 100→10→5→1 步;与权重量化正交;π0 10→5 步、GR00T DiT 4 步为实例。
函数评估次数Number of Function Evaluations (NFE)扩散/流匹配单条轨迹所需前向次数;1-NFE = 单步策略,极大简化 runtime loop。
结构化稀疏Structured Sparsity (2:4)每 4 权重留 2 非零;NVIDIA 稀疏 FP4 需硬件支持;具身量产验证不足,端侧基线阶段不依赖。
剪枝Pruning移除权重/通道;QVLA 将 0-bit 与量化统一;非结构化剪枝具身验证少。
神经架构搜索Neural Architecture Search (NAS)自动搜索网络结构;中心/边缘吞吐场景有研究,端侧具身基线阶段以已知 VLA 架构 + PTQ/减步为主,NAS 作 规模化阶段前瞻。
低秩适配Low-Rank Adaptation (LoRA)冻结主权重、训练低秩增量;OpenVLA 任务微调标准做法;与 INT4 PTQ 叠加。
校准集Calibration DatasetPTQ 确定 scale 的样本集(通常 512–1024 帧/轨迹);须覆盖目标场景,支持端侧 recalibration。
块缩放Block ScalingNVFP4/INT4 按块(如 16 值)共享 scale;硬件须原生支持,否则 dequant 开销抵消收益。

3. 部署与运行时(Deployment & Runtime)

中文English解释
预填充PrefillAR/VLM 对整段输入(图像 token+语言)的一次性前向,计算密集;π0 prefill ~46ms@4090。
解码Decode自回归逐 token 或动作步生成;OpenVLA 瓶颈之一;KV-cache 优化主要针对 decode 阶段。
KV 缓存KV-cache存储 attention 的 Key/Value 避免重复计算;VLA 长上下文与多步推理的内存/带宽热点。
分块双缓冲Chunk Double-BufferingRTC 运行时同时持有"执行中 chunk"与"生成中 chunk";IREE/runtime 须扩展异步调度。
提前编译Ahead-of-Time (AOT)编译期固定图/调度,产物如 IREE .vmfb、TensorRT engine;端侧量产首选,对比 eager PyTorch。
即时执行Eager ExecutionPyTorch 动态逐 op 执行;开发/仿真用;GR00T Thor eager ~117ms vs TRT ~92ms。
模型清单Model Manifest描述 model_family、quant、action_dim、embodiment 的 YAML/JSON;LeRobot 与国内 demo 的事实 SSOT 接口。
LeRobotLeRobot (HuggingFace)开源机器人 ML 栈(数据/训练/推理);π0/OpenVLA/ACT 统一入口;SDK 应对齐 manifest。
零拷贝Zero-Copy传感器→NPU 不经 CPU bounce buffer;dmabuf + IREE HAL import;可省 5–15ms。
动态形状Dynamic Shapeaction_dim/state_dim 随机器人变化;编译器采用 max dim + padding 等受限多态。
多虚拟机Multi-VM单 runtime 加载多模型(VLM+DiT+ER);IREE multi-module;Gemini/GR00T 双模型编排基础。
流匹配步原语Flow Step Primitive编译器 IR 中对扩散/流匹配迭代 loop 的语义节点(如 dsa.flow_step);便于 loop fusion 与 1-NFE 分支。
最坏执行时间Worst-Case Execution Time (WCET)一段代码/kernel 在最坏输入与硬件竞争下的执行时间上界;硬实时可调度性分析的输入,须可静态/测量界定而非平均值。
抖动Jitter同一任务多次执行的延迟波动幅度(如 p50 与 p999 之差);控制回路怕 jitter 甚于怕高均值——它破坏时间确定性。

4. 系统与中间件(System & Middleware)

中文English解释
机器人操作系统 2Robot Operating System 2 (ROS 2)具身中间件事实标准;DDS 通信、ros2_control 执行器接口;认知层可用,1kHz 硬实时不宜经 DDS。当前发行版如 Jazzy Jalisco / Kilted Kaiju(以官方为准)。
ros2_controlros2_controlROS 2 统一硬件抽象层;对接 EtherCAT/关节驱动;模型输出 action → 轨迹/力控接口。
NITROSNVIDIA Isaac NITROSIsaac 零拷贝 GPU 感知管道;GXF 组件 + type adaptation;对标我们 dmabuf + IREE 感知桥。
直接内存缓冲区DMA-BUF (dmabuf)Linux 跨设备共享缓冲区机制;相机 ISP→NPU 零拷贝基础。
硬实时Hard Real-Time截止期必须满足(如 1kHz 控制 p999),错过即系统失效;通常驻 RTOS/安全岛,非 PREEMPT_RT 单独保证。
软实时Soft Real-Time平均/尾延迟有目标但可偶发超时(如 VLM 7–9Hz),超时只降体验不致命;NPU 大模型推理层。
准实时Firm / Near Real-Time介于软硬之间(如 30–100ms VLA chunk),偶发超时结果作废但不危险;可 RTC 补偿。
功能安全岛Safety Island独立 MCU+SRAM+IO,ASIL-D 级;1kHz 伺服/EtherCAT 主站;与 Linux 主计算域隔离。
抢占式实时 LinuxPREEMPT_RTLinux 内核抢占补丁;适合软实时 BE 负载;不能替代 1kHz 硬控制岛。
EtherCATEtherCAT工业实时以太网,≤1ms 周期;安全岛 MCU 作主站,ros2_control 对接。

5. 硬件与芯片(Hardware & Chip)

中文English解释
领域专用架构Domain-Specific Architecture (DSA)为 AI 推理定制的加速器(非通用 GPU);本项目核心算力形态,需 MLIR 编译器托管。
每秒万亿次运算Tera Operations Per Second (TOPS)整数算力峰值指标(通常 INT8);端侧具身更关注 TOPS/W(能效) 与小 batch 有效利用率。注意与浮点 TFLOPS 口径不同。
每秒万亿次浮点运算Tera Floating-Point Operations Per Second (TFLOPS)浮点算力峰值(FP16/BF16/FP8 等);训练与浮点推理口径;1 TFLOPS 与 1 TOPS 不可直接互换。
能效TOPS/W (Energy Efficiency)每瓦算力;端侧核心 KPI;DRAM 访存能耗约为计算的 100–200×,片上 SRAM 复用关键。
稠密算力Dense Compute无稀疏假设的满密度乘加吞吐;实测基线,datasheet 标称的「稀疏」值通常是它的 2×。
稀疏算力Sparse Compute (2:4)依赖 2:4 结构化稀疏的标称吞吐;须权重满足稀疏模式才可达,具身量产验证不足,别拿稠密实测对标稀疏标称。
低功耗双倍数据率内存LPDDR5X/6端侧机器人主存;容量 GB 级、带宽 ~100–300GB/s;VLA 权重与 KV 主存放处。
高带宽内存High Bandwidth Memory (HBM)边缘/中心形态;端侧具身基线采用 LPDDR,HBM 作演进选项。
片上静态存储On-Chip SRAM / Scratchpad低功耗高带宽;驻留动作专家分块、KV 片段;软件管理(08 章弱序+显式 DMA)。
存算一体Compute-in-Memory (CIM) / Near-Memory近存/存算预研;端侧基线阶段不依赖,03 章预研轨道。
Jetson ThorNVIDIA Jetson ThorBlackwell 端侧 SoC;GR00T 公开靶标 92ms/10.9Hz;NVFP4+FP8 量化标杆。
昇腾 310PAscend 310P华为端侧 NPU;公开 π0 FP16 ~430ms;无 BF16;国内具身 demo 参考基线。
Dragonwing IQ10Qualcomm Dragonwing IQ10车规/Physical AI 平台;700 TOPS 宣称;QNN+VLA 战略,细节少于 NVIDIA。
统一内存Unified MemoryCPU+NPU 共享物理地址空间;mmap + 显式 DMA;禁止 UVM 式隐式页迁移(具身确定性)。

6. 评测与数据(Evaluation & Data)

中文English解释
任务级评测Task-Level Benchmark以叠衣/抓取/装箱成功率、延迟、能耗为准;非仅 TOPS 或 token perplexity;如 VLABench 等。VLA-Perf 等新 benchmark 待核/社区。
Rollout 验收Rollout Evaluation在仿真或真机轨迹上评估策略成功率;具身量化验收必项,优于 offline token 精度。
控制频率Control Frequency (Hz)策略输出或伺服环频率;π0 语义 50Hz chunk,Helix S0 1kHz,GR00T Thor ~11Hz E2E。
端到端延迟End-to-End Latency传感→动作输出的整链 ms;移动抓取目标 ~100ms;VLA chunk 是主瓶颈。
有效毫秒每瓦Effective ms/W单位能量下可完成的有效推理毫秒;11 章电源 KPI,对比 Thor/310P/ExecuTorch。
仿真到真机Sim-to-RealIsaac Sim / MuJoCo 等训练数据迁移真机;数据闭环 31 章。
现场数据回流Field Data Loopback量产机器人日志/失败 case 回传云端,持续评测与微调;Tesla/Figure/Isaac 共性能力。

7. 产品·部署·合规

中文English解释
产品线/SKUStock Keeping Unit / Product SKU可销售硬件档位;本库 Edge-Lite/Pro/Server(32 章)。
Design WinDesign Win客户选型我方芯片/栈的里程碑;POC→Pilot→量产(32 ADR-129)。
参考架构Reference Architecture架构摘要数据流与分层;00-reference-architecture-one-pager。
应用场景矩阵Application Scenario Matrix形态×行业×任务×指标;33 章。
本体形态Robot Morphology人形/臂/四足/AMR 等;决定外设与 SKU。
零拷贝传感Zero-Copy SensingMIPI→dmabuf→NPU;对标 NITROS(34 章)。
本体感知Proprioception关节 state/IMU/力矩;作为 VLA state token 输入。
全身控制Whole-Body Control (WBC)多关节协调控制;通常 200Hz–1kHz;岛侧(35 章)。
模型预测控制Model Predictive Control (MPC)优化式控制;可与 VLA 高层目标结合。
动作块消息ActionChunk (ROS 2)VLA 输出 chunk 的 ROS 2 类型;35 ADR-139 候选。
远程临场Teleoperation (Teleop)人遥操作;LeRobot 数据采集;非量产 SLO。
仿真到真机Sim-to-Real仿真训练迁移真机;Isaac Sim/MuJoCo(31 章)。
合成数据Synthetic Data仿真生成训练数据;与 field 数据比例见 31 §3.6。
边缘仅本地Edge-Only / Local-Only数据与推理不出厂;PIPL/隐私 SKU(28/31)。
设备画像Device Profile / Fleet ProfileOTA/Fleet 中的设备配置元数据(23 章)。
工业机器人安全ISO 10218工业机器人安全要求;VLA 非 SIL 输入(28 章)。
个人服务机器人安全ISO 13482移动服务机器人安全;协作场景。
个人信息保护法PIPL (China)中国数据合规;field video 默认本地。
通用数据保护条例GDPR欧盟隐私;telemetry L0 默认(29 章)。
多租户Multi-Tenancy边缘网关多客户 VLM 隔离;36 ADR-143。

8. 缩写索引(Quick Index)

缩写全称
VLAVision-Language-Action
VLMVision-Language Model
EREmbodied Reasoning
RTCReal-Time Chunking
PTQ / QATPost-Training / Quantization-Aware Training
NFENumber of Function Evaluations
DiTDiffusion Transformer
DSADomain-Specific Architecture
AOTAhead-of-Time
WCETWorst-Case Execution Time
TOPS / TFLOPSTera Operations / Floating-Point Operations Per Second
ADRArchitecture Decision Record
SSOTSingle Source of Truth
AApplication & Domain
DDeployment & Service
MModel
CCompiler & Kernel
RRuntime
SSystem Software
IInterface
HHardware
XCross-Cutting Capabilities
PProduct Definition

深入思考

下面三题每题先给题干,再用 <details> 折叠一份图文并茂的参考答案。本表是字典,这三题则是「怕你把最容易混的三组术语背下来却用错」——建议先合上答案自己想 3 分钟,再展开对照。

思考题 1:三类动作头术语辨析——扩散策略 / 流匹配 / 单步策略

本表在第 1 节列了扩散策略、流匹配、一致性策略、OneDP、OFP、NFE 等一串「动作头」相关词。请辨析:扩散策略、流匹配、单步策略(OneDP/OFP)三者到底差在哪一个轴上? 为什么说「减步」(步数蒸馏)与「量化」是两条正交的优化?并用一个数量级估算说明,从 100 步降到 1 步对端侧 chunk 延迟意味着什么。

展开参考答案(含动作头术语关系图 + 步数-延迟算一遍)

结论:三者差在「一条动作轨迹要跑几次网络前向(NFE)」这一根轴上——扩散策略多步(几十到上百)、流匹配少步(5~10)、单步策略压到 1 步;而量化改的是「每一次前向本身多快/多省」,两者一个管次数、一个管单次成本,完全正交,可以叠加。

三者的准确区分

  • 扩散策略:训练目标是「学去噪」,采样时要从纯噪声出发迭代几十上百步(DDPM),每步一次网络前向。质量高、多模态好,但 NFE 大 → 端侧慢。
  • 流匹配:训练目标改成「学一个把噪声搬到数据的向量场」,采样用 Euler 积分,同样质量下步数可压到 5~10(π0 走这条路)。它不是「更好的扩散」,而是另一套连续变换的训练/采样范式,代价更低。
  • 单步策略(OneDP/OFP):把多步过程蒸馏/训练成一次前向就出结果(1-NFE)。OneDP 是从扩散蒸馏而来,OFP 是从零自蒸馏的流匹配——殊途同归到 NFE=1。

为什么减步与量化正交:一条轨迹的端侧耗时 ≈ NFE × 单次前向耗时。减步动的是 NFE(乘法的左因子),量化动的是 单次前向耗时(右因子)。两者互不干扰、可相乘叠加——这也是为什么量产栈(如 GR00T Thor)会同时用 nvfp4 量化 + 4 步去噪。

用步数-延迟算一遍(假设动作专家单次前向 ~6ms,取本表 §3b 口径):

方案NFE动作头轨迹耗时能否满足 50Hz(≤20ms/步语义)/ 100ms chunk
原始扩散100100 × 6 = 600ms❌ 远超
流匹配(π0 减步)55 × 6 = 30ms✅ 加 prefill 后逼近 ~76ms
单步(OneDP/OFP)11 × 6 = 6ms✅ 大幅余量,runtime loop 极简

读这组数:从 100 步到 1 步,动作头部分从 600ms 压到 6ms(100×),且 runtime 从「跑一个 while 循环 + 中间张量反复读写」简化为「单次前向」——这正是本表把「流匹配步原语(dsa.flow_step)」列为编译器 IR 一等公民、同时要求保留「1-NFE 快路径」分支的原因(详见 §3 部署与运行时、以及第 1 节动作头术语群)。

思考题 2:实时性术语——硬实时 / 软实时 / 准实时 / WCET / jitter 在具身语境的区别

本表第 4 节把实时性拆成硬实时、软实时、准实时,第 3 节又补了 WCET 与 jitter。请说清:这三档「实时」在具身栈里各落在哪个频率带、由谁承担、错过截止期的后果分别是什么? 为什么控制工程师常说「怕 jitter 甚于怕高均值延迟」?WCET 又为什么是硬实时可调度的前提?

展开参考答案(含实时性分档-频率带映射图 + 对比表)

结论:三档实时的分界不在「快慢」,而在「错过截止期的后果」——硬实时错过即系统失效(1kHz 伺服,安全岛承担)、准实时错过则该次结果作废但不危险(VLA chunk,NPU/RTC 承担)、软实时错过只降体验(VLM 认知,NPU 承担);jitter 之所以比高均值更可怕,是因为控制回路要的是「可预测的按时到达」,而 WCET 正是把「最坏也不会迟到」这句话变成可数学验证的前提。

三档对比表:

维度硬实时 Hard准实时 Firm软实时 Soft
典型频率带1kHz 伺服/EtherCAT30–100ms VLA chunk(~10–50Hz 语义)7–9Hz VLM 认知
承担者安全岛 MCU + RTOS(非 PREEMPT_RT)NPU 动作头 + RTC 双缓冲NPU 大模型推理域
错过截止期后果系统失效——机器人可能失稳/伤人该次结果作废,靠旧 chunk / RTC inpainting 兜底仅体验下降,思考慢一拍
关键指标p999 / WCET 上界p99 chunk 延迟平均 / p95

为什么怕 jitter 甚于怕高均值:控制回路是一个按固定周期采样-计算-下发的闭环。若每周期延迟稳定在 0.9ms(即使偏高但可预测),控制器可以按此整定、闭环稳定;但若延迟在 0.2ms~1.5ms 之间随机跳(jitter 大),采样间隔忽长忽短,等效于给系统注入了随机相位噪声——轻则抖动、重则发散。均值高只是「慢但稳」,jitter 大是「时快时慢、不可预测」,后者直接摧毁时间确定性,这正是硬控制必须放安全岛而非跑在通用 Linux 上的根因。

为什么 WCET 是硬实时前提:硬实时的承诺是「p999/最坏情况也不迟到」。要在数学上证明一组任务能被按时调度(可调度性分析,如 RMS/EDF),调度器必须知道每个任务的执行时间上界——这就是 WCET。用平均执行时间做调度分析毫无意义:平均达标但最坏超时,照样在最坏那一拍失效。因此硬实时代码要求 WCET 可静态分析或可测量界定(无无界循环、无不可预测的缓存/分支行为),这也是为什么 1kHz 控制不宜经 DDS(ROS 2)——通信栈的延迟上界难以严格界定(呼应本表 ROS 2 与 PREEMPT_RT 词条)。

思考题 3:算力术语易混淆点——TOPS vs TFLOPS、稀疏 vs 稠密、bit vs byte

本表第 5 节列了 TOPS、TFLOPS、稠密算力、稀疏算力等。读芯片 datasheet 时,「700 TOPS」「92ms/10.9Hz」「INT4/1.7GB」这些数字最容易被混淆或被营销放大。请辨析:TOPS 与 TFLOPS 能不能直接比?稀疏标称与稠密实测差多少?bit 与 byte 在「INT4 权重 1.7GB」这类换算里最常见的坑是什么?

展开参考答案(含算力口径易混点关系图 + 内存换算算一遍)

结论:TOPS 是整数(通常 INT8)峰值、TFLOPS 是浮点峰值,口径不同不能直接互换;datasheet 上的「稀疏」值通常是稠密实测的 2×(需 2:4 结构化稀疏才可达,具身量产多半用不上);而「INT4 权重 N GB」这类换算最常见的坑,是把 bit 和 byte 搞混——1 byte = 8 bit,INT4 是 4 bit = 0.5 byte,算错就会把内存需求估大或估小一倍。

三组易混点逐一拆

  • TOPS vs TFLOPS:OPS 是「整数运算次数」,FLOPS 是「浮点运算次数」。Qualcomm「700 TOPS」多指 INT8 整数峰值;NVIDIA 报 GR00T 时更常用 FP4/FP8 的 TFLOPS/PFLOPS。二者度量不同数据类型的算术单元,不能直接换算比大小——一颗高 TOPS 的芯片不代表浮点推理也强,反之亦然。看 datasheet 先问:这是什么 dtype 的峰值?
  • 稀疏 vs 稠密:稠密(Dense)是无稀疏假设的满密度吞吐,是你实测能拿到的基线;稀疏(Sparse,2:4)要求每 4 个权重恰有 2 个为零,硬件才能跳过零值把吞吐翻倍。datasheet 常把「稀疏」的 2× 数字印在最显眼处,但具身模型量产极少满足 2:4 稀疏(本表已标注端侧基线阶段不依赖),所以做算力预算要用稠密口径,别拿稠密实测去对标稀疏标称,否则会高估一倍。
  • bit vs byte:精度(INT4/INT8/FP8/FP16)以 bit 计;内存占用与带宽以 byte 计。1 byte = 8 bit,换算要 ÷8。最常见的坑是直接拿「参数量 × bit」当 byte 数,凭空放大 8 倍。

用内存换算算一遍(验证本表「单 VLA INT4 约 1.7–3.5GB」是否自洽,取一个 5B 参数的 π0.7 级模型):

精度每参数 bit每参数 byte5B 参数权重内存
FP1616 bit2 byte5e9 × 2 = 10 GB
INT88 bit1 byte5e9 × 1 = 5 GB
INT44 bit0.5 byte5e9 × 0.5 = 2.5 GB

读这组数:5B 参数 INT4 权重 ≈ 2.5GB,正落在本表「1.7–3.5GB」区间内(下界对应更小的 3B 级、上界含少量 KV/激活缓冲),换算自洽。若这里把 bit 当 byte 直接算成 5e9 × 4 = 20GB,就会误判为需要超大主存、错误否掉 8GB 端侧方案——这正是 bit/byte 混淆在选型阶段的真实代价(呼应本表 §5 硬件、以及 §2 压缩与优化的量化词条)。


附:与洞察章节的映射

术语域主要章节
VLA/π0/GR00T/Helix01, 21
量化/蒸馏/减步19
运行时/KV/RTC12, 13, 14
ROS 2/NITROS/dmabuf09, 10, 25, 34
DSA/内存/Thor02, 03, 07, 11
任务级 Benchmark27, 31
SKU/场景/Design Win32, 33, 26
控制/WBC/1kHz35, 13
端→边→中心36, 24