AI Infra Weekly · 2026-W32 · 08-03 ~ 08-09

1️⃣ AI 芯片与加速器

• HN870★AMD 收购 Taalas，押注将模型硬化到硅中的推理路线 🔥
  AMD 宣布收购 Taalas；后者主张将特定模型直接蚀刻进芯片，以获得更高的推理性能。HN 870 分热议，意味着通用 GPU 之外的专用推理 ASIC 路线获得头部厂商押注。
• SK 海力士批准逾 383 亿美元建设两座存储器晶圆厂 🔥
  SK 海力士董事会批准 54 万亿韩元的两座新 fab 建设计划。HBM 与数据中心存储供给扩张正在从产品周期进入重资产产能建设阶段。
• NVIDIA 以 Vera CPU 加速下一代 CPU/GPU 的 EDA
  NVIDIA 与 Cadence、Synopsys 合作，优化 Vera CPU 上的关键 EDA 应用。AI 芯片设计本身正成为高性能计算和软硬件协同优化的重要负载。
• arXiv自动综合异构、分层、作用域一致性协议
  论文提出自动生成连接不同集群级与全局级一致性协议的 shim，针对 CXL、AMBA CHI 等异构共享内存系统中手工设计容易出错的问题。

2️⃣ 编译器与中间表示

• arXivLet it Flow：异步数据流的形式化验证编译框架
  论文面向空间数据流架构，提供经形式化验证的编译框架；重点解决分布式、动态调度算子在并行性和数据局部性之间的正确性保证。
• arXivRepoOMP：面向成熟代码库的依赖感知 OpenMP 自动并行化
  通过缩减并检索决定循环合法性与收益的跨文件上下文，减少规则工具的保守性和 Agent 检索失准问题。
• arXivOBASE：对象级地址空间工程改善内存分层
  论文指出按对象大小而非热度分配会让冷热数据混在同一页，从而浪费 DRAM；方案通过对象级地址空间布局改进内存 tiering。

3️⃣ 推理系统与服务化

• HN139★vLLM 高吞吐推理系统的架构拆解
  对 vLLM 调度、PagedAttention、连续批处理等组成做系统性剖析。HN 139 分，适合作为评估高吞吐 LLM 服务栈的工程参考。
• arXivTensorCast：为 LLM 基础设施补上张量管理层
  论文将模型权重加载、KV cache 和 checkpoint 同步等分散机制抽象为跨分布式组件共享的持久张量管理问题，试图统一执行、网络和存储之间的数据路径。
• arXivPLoRA：用近数据处理改造千级 LoRA 适配器服务
  针对多 LoRA 部署中适配器频繁经 PCIe 从 CPU 内存调入的问题，提出 NDP 增强的池化内存系统，目标是降低海量适配器的服务成本。
• arXiv实时将 LLM 推理路由到最清洁电网
  论文在多区域 GPU 测试床验证按边际碳排放率路由请求；无需改模型或硬件，调度层即可利用地区与时段的电网差异降低排放。

4️⃣ 数据中心与集群

• AWS 因 Agentic AI 算力需求收紧内部 EC2 使用 🔥
  报道称 AWS 正要求工程团队降低低利用率 EC2 使用，以优先满足外部客户的 CPU 容量需求。Agent 工作负载正在把资源紧张从 GPU 扩散到通用 CPU。
• arXivB300 双节点 16 卡全参数微调的现场运维报告
  报告记录 Qwen3-32B 在两节点、16 张 NVIDIA B300 上以 FSDP/ZeRO-3 全参微调的遥测排障与加固经验，包含新硬件上的负面结果与实测数据。
• arXiv应用故障率如何侵蚀超算与 AI 训练效率
  论文提出评估 Exascale 级科学计算机和大规模 AI 训练安装的 uptime 效率框架，强调异构应用的失败率会显著改变有效算力。
• 数据中心建设的社区阻力正在跨政治阵营扩大
  The Verge 讨论美国地方对 AI 数据中心能耗、土地与电网压力的反弹。选址和社会许可已成为扩容计划的实际基础设施约束。

5️⃣ AI 安全与可靠性

• HN126★OpenAI 暂停 Astra 相关内部活动，收紧关键网络能力防护 🔥
  OpenAI 发布 Astra 的初步网络安全评估，并宣布在安全标准与控制措施达标前暂停相关内部活动。HN 126 分，前沿模型的网络能力治理进入更明确的发布门槛阶段。
• TONTOU 攻击绕过 Intel 与 AMD 的 Spectre 防御 🔥
  MIT 研究人员展示计时器中断可重新打开分支预测器投毒窗口，并给出 Zen 2 可用 exploit。共享云和 AI 基础设施仍需跟进微架构隔离边界。
• arXiveMicro：以 eBPF 实现微服务多跳实时访问控制
  论文针对每一跳都合法但整条调用路径违反安全意图的多跳攻击，提出在 eBPF 上执行的实时路径级访问控制机制。
• NVIDIA 参与成立开放安全 AI 联盟
  NVIDIA 博客介绍 Open Secure AI Alliance，聚焦把开源生态中的 AI 安全与安全工程协作组织化，覆盖关键软件与基础设施依赖。

6️⃣ 具身智能（基础设施视角）

• NVIDIA Cosmos-H-Dreams 用实时生成仿真服务手术机器人
  NVIDIA 发布的案例将实时生成式仿真用于手术机器人，关注点是为物理 AI 提供可扩展的仿真数据和闭环基础设施，而非机器人策略本身。
• Jetson：面向紧凑空间的本地 AI 部署
  NVIDIA 介绍 Jetson 在小型设备中的 AI 计算部署形态。机器人本体侧的功耗、体积与实时推理约束仍使嵌入式加速模块成为关键基础设施。

7️⃣ 自动内核与代码生成

8️⃣ 端侧与边缘推理

• arXivEdgeXpert：MoE 与投机解码结合的端侧 LLM 推理设备
  论文瞄准端侧大模型中 FFN 外部内存访问瓶颈，结合 MoE 的稀疏激活与投机解码减少解码阶段和内存流量。
• 阿里推出 CosyVoice Studio AI 语音平台
  量子位报道 CosyVoice Studio 将语义理解融入语音能力，提供听、说、创一体化服务。语音模型的产品化正在把端云协同与低延迟交互推向更多应用场景。