03 存储与内存层级洞察
- 章节编号:03
- 所属层:H 硬件层(与 02 章数据流强耦合;随 RTL/封装冻结代价高)
- 关联 ADR:ADR-009(片上 SRAM 容量/层级)、ADR-010(主存 LPDDR vs HBM)、ADR-011(存算/近存策略)、ADR-012(KV-cache/内存管理硬件支持)
- 上游依赖:01 章(内存/带宽是真瓶颈、量化后权重 2–4GB、KV-cache + 扩散迭代访存密集);02 章(数据流靠大 SRAM 降带宽、成熟工艺 + 软硬协同拿能效)
学习目标
- 前置知识:读过 01 章(端侧负载画像:VLA 权重量化后 2–4GB、KV-cache 与扩散迭代访存密集)与 02 章(数据流如何靠片上复用降带宽);知道「内存带宽」与「峰值算力」是两个独立指标;了解一次矩阵乘的浮点运算量约为
2·M·N·K。无需 RTL 或封装工艺背景。 - 学完产出:① 能画出端侧 SoC 的三级内存层次(寄存器/RF → 片上 SRAM(L1/全局)→ LPDDR5X 主存),说清每一级的带宽、容量、能耗量级与「离计算单元越远越慢越费电」的规律;② 能用 Roofline「内存墙」 一句话讲清「为什么 VLA 单次 token 解码是访存受限(memory-bound)而非算力受限」,并亲手算出「模型字节数 ÷ 带宽 = 单次访存下限」;③ 能对比 LPDDR5X 统一内存 vs HBM 在端侧的容量/带宽/功耗/成本取舍,说清为什么 Jetson Thor 选 128GB LPDDR5X 而非 HBM;④ 能解释 片上 SRAM / KV-cache 驻留 如何直接压低 π0 类流匹配动作头的 chunk 延迟;⑤ 能读懂本章的候选方案矩阵与四条 ADR,理解「容量-带宽-成本」三角为何锁死端侧选型。
- 阅读姿势:盯住一条主线——「端侧具身推理的性能上限,往往不是算力烧不动,而是数据搬不动」。无论是选 LPDDR 还是堆 SRAM、还是把 KV-cache 钉在片上,本质都在解决同一堵墙:DRAM 访问的带宽与能耗,比乘加运算贵一到两个数量级。读完请回答:「同一个 π0 动作专家,为什么把它塞进片上 SRAM 就能把 chunk 延迟压下来」。
1. 范围与目标
内存层级常是端侧推理真正的瓶颈与能耗大头(DRAM 访问能耗远高 于计算)。本章决定片上 SRAM 层级与容量、主存类型(LPDDR/HBM)、是否做存算/近存、以及面向 VLA 的 KV-cache 与内存管理硬件支持。
核心问题
- 片上 SRAM 要多大、几级层级?在 SRAM 工艺缩放停滞下如何权衡面积/成本?
- 主存选 LPDDR 还是 HBM?容量/带宽/功耗/成本如何取舍?
- 存算一体(CIM)/近存计算是否纳入?成熟度与风险?
- 如何在硬件层支持 KV-cache、动态 shape、多模型并发的内存管理?
2. 需求洞察(承接 01/02 章)
- 具体场景/任务:端侧人形,batch≈1,运行 OpenVLA 7B / π0 3.3B(流匹配 5–10 步,前缀 KV-cache)+ 感知 + 1kHz 控制。
- 由负载反推:
- 容量:量化后权重 ~2–4GB(当前)→ 3–8GB+(未来);叠加 KV-cache + 多模型 + 感知缓冲 → 主存 ≥8–16GB(ADR-003)。
- 带宽:Attention/KV-cache、扩散多步迭代访存密集 → ≥100–300 GB/s;对标 Thor 273 GB/s、Tesla AI5 0.77–1.5 TB/s。
- 能效:DRAM 访问能耗是计算的~100–200×(Eyeriss/学界)→ 必须靠大片上 SRAM + 高复用数据流(02 章 RS)把数据"留在片上"。
- 确定性:1kHz 控制路径访存须时序可预测 → 倾向关键数据片上驻留(避免 DRAM 抖动)。
- 端/边/中心差异:端侧 LPDDR + 适度 SRAM;中心 可上 HBM 拼带宽/容量。
2.1 内存金字塔:一张图看清「离计算越远越慢越费电」
端侧 SoC 的存储不是一块平地,而是一座金字塔:越靠近乘加单元(MAC)的存储越快、越省电,但越小越贵;越往外走容量越大、越便宜,但带宽和能耗急剧劣化。这座金字塔的形状,决定了后面所有的架构取舍。
读这张图的关键:金字塔顶端的寄存器访问能耗记作 1×,那么一次 LPDDR 访问的能耗是它的 100–200 倍(Eyeriss 数据)。这意味着——同一份数据,若能少一次 DRAM 往返、多留在片上复用一次,省下的不只是时间,更是电池。这条规律是 02 章「大 SRAM + 高复用数据流」和本章一切选型的物理根因。
3. 技术现状与趋势(点名 + 来源)
3.1 SRAM 工艺缩放已停滞(本章最关键约束)
- TSMC N5 = N3B ≈ N3E 高密度 SRAM bitcell 均为 0.021 µm²(N3B 仅 5% 缩;N3E 几乎不缩);N2(GAA 纳米片) 经 DTCO 达 ~38.1 Mb/mm²,bitcell 仍 0.021µm²(密度仅 ~1.1–1.2×)。逻辑还在 ~1.7× 缩,SRAM 却停滞 → SRAM 占 die 面积比逐代上升(N16→N3:17.6%→28.6%),"唯一替代 SRAM 的是更多 SRAM"(WikiChip)。
- 含义:在最先进工艺上堆大 SRAM 既贵又难;这进一步支持 02 章结论——走成熟工艺 + 架构/数据流创新,而非靠先进制程堆 SRAM。
3.2 片上 SRAM 重 vs DRAM 背靠两条路线
| 路线 | 代表(点名) | 特点 |
|---|---|---|
| SRAM 重(尽量片上驻留) | Groq TSP(~230MB SRAM,无 DRAM)、Cerebras(晶圆级 40GB SRAM)、Hailo-8(32MB SRAM 驻留激活,免 DRAM) | 带宽/确定性/能效极佳;容量受限、面积/成本高,装不下大模型权重 |
| DRAM 背靠(SRAM 作缓存) | NVIDIA Thor(128GB LPDDR5X)、Tesla AI5(144–192GB LPDDR5X)、地平线(LPDDR5x 204GB/s) | 容量大、能装大模型;带宽/能耗受 DRAM 限,需大 SRAM + 复用缓解 |
端侧具身:VLA 权重(GB 级)放不进纯 SRAM → 必须 DRAM 背靠;但要配尽量大的片上 SRAM 留住激 活/KV-cache/权重分块,逼近 Groq/Hailo 的能效。
3.3 主存:LPDDR vs HBM
| LPDDR5X / LPDDR6 | HBM3/3E | |
|---|---|---|
| 带宽 | 数百 GB/s(Thor 273、AI5 0.77–1.5TB/s 多通道) | TB/s 级 |
| 功耗/能效 | 低,适合端侧 | 高 |
| 成本/封装 | 低,标准封装 | 高(2.5D 中介层、产能紧、贵) |
| 容量 | 大且便宜 | 较贵 |
| 适用 | 端侧/边缘 | 数据中心/中心推理 |
趋势 + 判断:端侧/边缘事实标准是 LPDDR5X(→LPDDR6)(Thor/AI5/地平线均用),HBM 留给中心推理。我们端侧基线应选 LPDDR5X/6(成本/功耗/供应可控),架构预留未来边/中心上 HBM 的接口路径。
3.3a 统一内存(Unified Memory):端侧 SoC 的隐性红利
端侧 SoC(Thor / AI5 / Apple 系)普遍采用统一内存架构(Unified Memory Architecture, UMA):CPU、GPU/加速器、DSP 共享同一块 LPDDR 物理内存,免去 CPU↔加速器之间的显式拷贝(memcpy over PCIe)。这对具身多系统编排(VLM + 动作头 + 感知前端并发)是关键红利:
- 零拷贝跨模块传递:VLM 输出的中间 tensor 可直接被扩散动作头读取(对齐 21 章「双系统流水线」的中间 tensor 传递诉求),无需搬回 DRAM 再搬出。
- 代价:CPU 与加速器争抢同一带宽预算——1kHz 控制小网、200Hz 视觉运动、感知前端都在啃 273 GB/s 这一根管子。这正是 2.1 节金字塔与 13 章分域调度必须联合考虑的原因。
- 对标:Jetson Thor 的 128GB LPDDR5X @ 273 GB/s 就是统一内存池;而 HBM 方案通常是加速器独占的显存,反而不利于端侧这种「一颗 SoC 喂多个异构模块」的形态。
3.4 存算一体(CIM)/近存计算
- 现状(来源):模拟 CIM 多受限于 sub-128Kb 阵列(模拟非理想随规模恶化);2025 有 1Mb 忆阻 CIM 在硅验证(10.49 TOPS、55–88 TOPS/W,Nature Commun. 2025);数字 CIM(SRAM-based DCIM) 风险更低;RRAM 在边缘推理"足够成熟"(CEA-Leti)。
- 痛点:精度/可靠性仍是关键问题;且 CIM"算法-硬件强绑定",需专用编译框架(与 15/16 章强相关)。
- 判断:CIM/近存是高能效远期方向,但第一代芯片不押注;设为预研/演进轨道(关注数字 CIM 与近存,规避模拟精度坑)。
3.5 KV-cache 与面 向 VLA 的内存管理
- VLA/VLM 自回归 + 长上下文使 KV-cache 成为容量/带宽新增压力;π0 对前缀 o_t 做 KV-cache、仅重算动作 token(降算力但占内存)。
- 端侧多模型并发(认知/感知/控制)+ 动态 shape → 需灵活内存分配 + 隔离(与 14 章多任务、13 章实时强相关)。
- 趋势:云端用 PagedAttention 类分页 KV 管理;端侧需轻量等价机制,硬件可提供地址重映射/分块 DMA 辅助。
3.6 Roofline 内存墙:VLA 单次解码为何是访存受限
要理解「带宽为什么是端侧真瓶颈」,最锋利的工具是 Roofline 模型。它用一个横轴——算术强度(Arithmetic Intensity, AI = 每字节访存对应的浮点运算数,单位 FLOP/Byte)——把所有算子分成两类:
为什么 VLA 端侧推理落在访存受限区:端侧 batch≈1,自回归解码每生成一个 token 都要把整份权重从 DRAM 读一遍,而每个权重只参与一次乘加——算术强度极低(≈ 1–2 FLOP/Byte)。此时性能不由「你有多少 TFLOPS」决定,而由「你能多快把权重读进来」决定。这就是「内存墙」:再多的算力,也快不过带宽这堵墙。 拐点右侧的 prefill(处理长 prompt)和大 batch 训练才是算力受限——但端侧基线几乎不进那个区间。这条判断直接呼应 01 章「带宽 > 峰值算力」和 21 章「算力侧看 chunk 延迟而非单次 token」。
3b. 由演进反推的芯片诉求(量化)
| 维度 | 当前(π0 3.3B/OpenVLA 7B 端侧) | 未来(5B+、长上下文、多模型、世界模型) | 架构含义 |
|---|---|---|---|
| 主存容量 | ≥8–16GB(LPDDR5X) | 16–32GB+ | LPDDR 大容量,预留扩展 |
| 主存带宽 | ≥100–300 GB/s | 数百 GB/s–TB/s | LPDDR5X/6;边/中心可上 HBM |
| 片上 SRAM | 尽量大(数 MB–数十 MB)留激活/KV/分块 | 更大 SRAM 压力(但工艺受限) | 成熟工艺 + 高复用数据流弥补 |
| KV-cache | 中等(5–10 步扩散 + 短上下文) | 长上下文显著增长 | 硬件辅助分页/重映射 + 压缩 |
| 能效 | DRAM 访问主导能耗 | 同左,更突出 | 最大化片上复用,减 DRAM 往返 |
时效补记(2026-07):Jetson Thor 量产规格为 128GB LPDDR5X @ 273 GB/s;π0.7、GR00T N1.7 已 GA(正式可用)。后续 LPDDR6 / HBM4 等代际带宽以厂商官方 datasheet 为准。
4. 候选方案与对比矩阵
4.1 内存层级总体方案
| 候选 | 性能/能效 | 成本 | 风险 | 生态成熟度 | 演进性 | 可驾驭度 | 小结 |
|---|---|---|---|---|---|---|---|
| A. 纯大 SRAM 片上(Groq/Hailo 式) | 5 | 2 | 3 | 3 | 2 | 3 | 能效极佳但装不下 VLA 权重,容量致命 |
| B. LPDDR 主存 + 大片上 SRAM + 高复用(DRAM 背靠) | 4 | 4 | 2 | 5 | 4 | 4 | 建议方案(主线):容量/成本/能效均衡 |
| C. HBM 主存 | 5(带宽) | 1 | 3 | 4 | 4 | 3 | 带宽强但贵/高功耗/封装复杂,端侧不宜 |
| D. CIM/近存为主 | 5(潜力) | 3 | 5 | 1 | 3 | 2 | 高能 效远景,成熟度/精度风险高,不宜作为第一代方案 |
建议方向:候选 B——LPDDR5X/6 主存 + 尽可能大的多级片上 SRAM(配合 02 章 RS/灵活数据流最大化复用);CIM/近存设为预研轨道;HBM 留给边/中心演进。
4.2 片上 SRAM 层级
- 多级:寄存器/RF(PE 内)→ L1/L0(算子级复用)→ 全局共享 SRAM(权重分块/KV/激活驻留);容量与 02 章数据流(RS)协同定。
- 因 SRAM 工艺停滞,容量需在面积成本 vs 能效间精算,且优先用成熟工艺降单位成本。
4.3 KV-cache / 内存管理
- 硬件辅助:分块 DMA、地址重映射、可选 KV 压缩/低比特 KV;软件侧轻量分页(关联 12/14 章)。
5. 关键权衡、风险与依赖
- SRAM 面积成本 vs 能效(核心矛盾):工艺停滞使大 SRAM 昂贵;但 SRAM 太小则 DRAM 往返多、能效崩。需与 02 章数据流、19 章量化(降权重/KV 体积)联合优化。
- 容量 vs 带宽 vs 成本三角:LPDDR 容量成本好但带宽不如 HBM;靠片上复用 + 量化 + KV 压缩弥补带宽缺口。
- CIM 风险:模拟精度/可靠性 + 专用编译 + 生态不成熟 → 第一代不押注。
- KV-cache 增长:长上下文/多模型使 KV 爆炸,需软硬协同(分页 + 压缩),否则端侧装不下。
- 依赖链:强依赖 02(数据流)、19(量化/KV 压缩)、12-14(运行时内存管理)、封装(LPDDR PHY)。
6. 结论与待决项
初步结论
- 端侧采用 LPDDR5X/6 主存(≥8–16GB,≥100–300 GB/s)+ 尽可能大的多级片上 SRAM + 高复用数据流;不走纯 SRAM(容量)也不走 HBM(成本/功耗)。
- SRAM 工艺停滞强化"成熟工艺 + 架构创新"路线(与 02 章一致);用成熟工艺降 SRAM 单位成本。
- CIM/近存设为预研轨道(优先数字 CIM/近存,规避模拟精度坑),第一代不押注。
- 硬件提供 KV-cache 友好的内存管理(分块 DMA/重映射 + 可选 KV 压缩),软硬协同。
待决项
- 片上 SRAM 具体容量/层级(面积成本 vs 能效)——需与 02 章数据流、功耗/面积预算、工艺选择联合定。
- 主存代际(LPDDR5X vs LPDDR6)与通道数/带 宽目标——结合基线模型 profiling(待 ADR-004 模型定后)。
- KV 压缩与低比特 KV 的硬件支持程度——需 19 章量化实验佐证。
ADR 候选
- ADR-009 片上 SRAM 容量/层级:多级 SRAM,容量与数据流协同最大化片上驻留;用成熟工艺控成本。
- ADR-010 主存:端侧选 LPDDR5X/6(容量/功耗/成本/供应可控),预留边/中心 HBM 接口路径。
- ADR-011 存算/近存:列为预研轨道(数字 CIM/近存优先),第一代不依赖。
- ADR-012 KV-cache/内存管理:硬件提供分块 DMA/地址重映射,支持(可选)KV 压缩与低比特 KV。
7. 端→边→中心演进影响
| 维度 | 端侧 | 边缘 | 中心 |
|---|---|---|---|
| 主存 | LPDDR5X/6 | LPDDR/部分 HBM | HBM |
| 容量 | 8–16GB | 16–64GB | 数百 GB |
| 片上 SRAM | 大(能效优先) | 大 | 大 + 多级 |
| CIM/近存 | 预研 | 试点 | 视成熟度 |
不可逆点与规避:内存接口(LPDDR PHY)与片上 SRAM 容量随 RTL/封装冻结;需预留主存带宽/接口向上扩展(HBM 路径) 与片上 SRAM 配比弹性,避免端侧定型堵死边/中心。
深入思考
下面三题每题先给题干,再用
<details>折叠一份图文并茂的参考答案。建议先合上答案自己想 3 分钟,再展开对照。
思考题 1:内存带宽墙如何限制 VLA 推理
一位同事说「我们的芯片有 100 TFLOPS,跑一个 4GB 的 INT4 VLA 单次 token 解码肯定飞快」。结合 3.6 节 Roofline 内存墙 与 2.1 节内存金字塔,论证他为什么错了:请亲手用「模型字节数 ÷ 带宽 = 单次访存下限」算出这次解码的时间下限,并说明这个下限与那 100 TFLOPS 几乎无关。
展开参考答案（含图）
结论:batch=1 的自回归解码里,每个权重只被读一遍、只参与一次乘加,算术强度低到落进访存受限区;此时单次解码的时间下限 = 权重字节数 ÷ 内存带宽,和你有多少 TFLOPS 基本无关——这就是内存墙。
算一遍(单位务必分清 byte 与 bit):
- 模型权重 4GB,这里的 B 是 byte(字节)——4 GB = 4 × 10⁹ 字节(注意不是 bit;若厂商标 32 Gb 那是 bit,÷8 才得 4 GB)。
- Jetson Thor 主存带宽 273 GB/s,这里的 B 也是 byte(273 × 10⁹ 字节/秒)。带宽标注要认准是 GB/s(字节)还是 Gb/s(比特)。
- 单次访存下限 = 字节数 ÷ 带宽 =
4 × 10⁹ B ÷ (273 × 10⁹ B/s)≈ 0.01466 s ≈ 14.7 ms。 - 对照算力侧:INT4 一次前向的运算量约
2 × 参数量≈2 × 4 × 10⁹ = 8 × 10⁹FLOP;在 100 TFLOPS 下仅需8 × 10⁹ ÷ 10¹⁴ = 0.08 ms。
| 口径 | 数值 | 谁说了算 |
|---|---|---|
| 按带宽算(访存下限) | ~14.7 ms | 实际瓶颈 |
| 按算力算(理想) | ~0.08 ms | 完全跑不到 |
| 差距 | ~180× | 算力被带宽墙压死 |
14.7 ms vs 0.08 ms,相差约 180 倍——真实延迟被带宽死死锁在 ~14.7 ms,那 100 TFLOPS 在 batch=1 下几乎用不上。这就是本篇 3.6 节所说的内存墙:提速的正道是「加带宽」或「减字节」(量化到更低 bit、KV 压缩、片上驻留减往返),而非堆算力。这也正是 01 章「带宽 > 峰值算力」判断的定量来源。
思考题 2:LPDDR5X 统一内存 vs HBM 的端侧取舍
如果单看带宽,HBM3E(TB/s 级)碾压 LPDDR5X(数百 GB/s),那为什么 Jetson Thor、Tesla AI5 这些端侧/车端平台清一色选 128GB 级 LPDDR5X,而不上 HBM?结合 3.3 / 3.3a 节,从容量、功耗、成本、封装、统一内存五个维度给出端侧取舍逻辑。
展开参考答案（含图）
结论:端侧的约束不是「带宽最大化」,而是「在功耗、成本、封装、供应都受限的盒子里,先把 GB 级模型装下、再把多个异构模块喂饱」——LPDDR5X 用大容量、低功耗、标准封装和统一内存池赢下这场综合题,HBM 的带宽优势在端侧反而换不来净收益。
五维对比表:
| 维度 | LPDDR5X(端侧选) | HBM3E | 端侧裁决 |
|---|---|---|---|
| 容量 | 大且便宜,128GB 级(Thor) | 单栈几十 GB,贵 | LPDDR 胜:先要装得下 GB 级 VLA + KV + 多模型 |
| 带宽 | 数百 GB/s(Thor 273) | TB/s 级 | HBM 胜,但见思考题 1:端侧 batch=1 未必吃满 |
| 功耗 | 低,适合电池/被动散热 | 高 | LPDDR 胜:端侧散热/续航是硬约束 |
| 成本/封装 | 标准封装,供应可控 | 2.5D 中介层,贵、产能紧 | LPDDR 胜:量产成本敏感 |
| 统一内存 | UMA,CPU/加速器零拷贝共享 | 通常加速器独占显存 | LPDDR 胜:利于多系统编排 |
算一遍(容量视角):π0 类端侧要同时驻留「VLM 权重 + 前缀 KV-cache + 感知缓冲 + 1kHz 控制小网」,叠起来 8–16 GB 起步(见 3b 节)。HBM 单栈容量小、要堆多栈才够,而每多一栈就是一份中介层成本与功耗;LPDDR5X 一把 128 GB 直接铺平容量焦虑,还顺带把带宽做到 273 GB/s——对 batch=1 的访存受限负载(思考题 1)已经够用。HBM 的 TB/s 带宽在大 batch 数据中心才能兑现价值,端侧兑不出净收益,反而赔上功耗、成本与封装复杂度。 这 正是本篇 3.3 节「端侧选 LPDDR5X/6,HBM 留给中心」的完整推理链,也解释了 21 章横评里 Thor/AI5 的一致选型。
思考题 3:片上 SRAM / KV-cache 驻留对 chunk 延迟的影响
π0 类流匹配动作头有一个 ~300M 的「动作专家」,每个 chunk 要迭代 5 步去噪,每步都要访问动作专家权重与前缀 KV-cache。结合 2.1 节金字塔 与 3.5 节 KV-cache 管理,论证:把动作专家权重 + KV-cache 钉在片上 SRAM(而非每步都从 LPDDR 重读)如何直接压低 chunk 延迟?为什么这是端侧「片上驻留收益大」判断的核心?
展开参考答案（含图）
结论:5 步去噪意味着同一份动作专家权重与 KV-cache 要被反复读 5 次;若每步都从 LPDDR 重读,访存时间乘以 5;若一次性钉进片上 SRAM 驻留,后续 4 步的读取都走片上高带宽/低能耗通道,chunk 延迟里的访存分量被大幅压缩——这就是「片上驻留收益大」的机理。
算一遍(300M 动作专家,INT8 权重 ~300 MB,5 步去噪,LPDDR5X 273 GB/s):
- 单次读 300M 权重(INT8,byte 计)=
300 × 10⁶ B ÷ (273 × 10⁹ B/s)≈ 1.1 ms。 - 方案 A(每步重读):5 步 × 1.1 ms = ~5.5 ms 全花在权重搬运上,还没算 KV-cache 与激活的往返。
- 方案 B(片上驻留):仅第 1 步从 DRAM 载入 1.1 ms,后续 4 步在片上 SRAM 复用(片上带宽远高、能耗仅约金字塔的 ~10× 而非 DRAM 的 ~100–200×)→ 权重搬运约 1.1 ms,省下 ~4.4 ms。
| 方案 | 权重搬运耗时 | DRAM 往返次数 | 能耗量级 |
|---|---|---|---|
| A:每步从 LPDDR 重读 | ~5.5 ms | 5 | 高(~100–200×/次) |
| B:片上 SRAM 驻留 | ~1.1 ms | 1 | 低(后 4 步 ~10×) |
在 chunk 延迟只有几十毫秒、靶标 ≤100ms(对标 GR00T Thor 92ms)的端侧场景里,省下的这几毫秒是实打实的裕度。 加之动作专家仅 300M、恰好塞得进数 MB–数十 MB 级片上 SRAM(3b 节「动作专家 300M 可驻 SRAM,片上驻留收益大」),这就是本篇 3.5 节主张「KV-cache 友好的内存管理 + 硬件辅助分块 DMA/重映射」的价值所在——把反复用的数据钉在片上,是端侧对抗内存墙(3.6 节)、逼近实时靶标的直接手段。
附:信息来源
区分公开/估计;参考时间 2026-07。
- SRAM 缩放停滞:WikiChip《IEDM 2022: Did We Just Witness The Death Of SRAM?》(N5=N3E bitcell 0.021µm²、N3B 仅 5% 缩)、TechSpot 转述;SemiWiki/IEEE Spectrum(N2 GAA ~38.1 Mb/mm²、bitcell 仍 0.021µm²、DTCO ~1.1×;SRAM 占 die 比 N16→N3 17.6%→28.6%)。[公开]
- SRAM 重路线:Groq TSP(片上 SRAM、无 DRAM、确定性)、Cerebras 晶圆级、Hailo-8(32MB SRAM 免 DRAM)。[公开]
- 主存 LPDDR/HBM:NVIDIA Jetson Thor(128GB LPDDR5X 273GB/s)、Tesla AI5(144–192GB LPDDR5X、0.77–1.5TB/s)、地平线 J6P(LPDDR5x 204GB/s);HBM 一般性认知。[公开 + 媒体]
- 统一内存架构(UMA):Jetson Thor / Tesla AI5 / Apple 系 SoC CPU-GPU 共享 LPDDR 物理内存,零拷贝跨模块。[公开 + 一般性认知]
- Roofline 内存墙:Williams, Waterman, Patterson《Roofline: An Insightful Visual Performance Model for Multicore Architectures》(CACM 2009);算术强度与访存/算力受限判据。[公开]
- DRAM 访问能耗主导:Chen et al. Eyeriss(ISCA 2016,DRAM 访问能耗远高于 RF/ALU,~100–200×)。[公开]
- CIM/近存成熟度:Nature Communications《A near-threshold memristive CIM engine for edge intelligence》(2025,1Mb、10.49 TOPS、55–88 TOPS/W);PatSnap《Near memory computing: PIM/CIM/LIM in 2026》(模拟 CIM 多 sub-128Kb);SemiEngineering《Why In-Memory Computation Is So Important For Edge AI》(RRAM 边缘推理足够成熟、需新编译框架);ISLPED'25 异构 CIM。[公开]
- KV-cache 管理:PagedAttention(vLLM)类机制;π0 前缀 KV-cache(arXiv:2410.24164)。[公开]
- π0.7 / GR00T N1.7 GA:Physical Intelligence pi.website;NVIDIA Isaac GR00T(2026,GA);后续代际规格以官方 datasheet 为准。[公开]
- 容量/带宽/SRAM 配比与各思考题算例:基于上述公开资料的工程估算。[估计]