-
agent 逐步选最便宜模型时,每次切换都丢弃 prefix cache(KV 是按模型存的),新模型必须先重算上下文;在均值 63K token 的生产 coding-agent trace 上,该方案让「待命模型」提前 prefill,把切换成本摊掉。arXiv:2611.13176
-
同样的基础负载下,多几分钟的突发流量就能让 vLLM 实例长期停在高代价状态——命中只需约千 token 增量 prefill,未命中要重算 10–40K,这种不对称是系统性脆弱的来源。arXiv:2611.13412
-
推理每 GPU token 少、小 batch 下固定开销(而非数据搬运)主导延迟,论文用单边语义重做 NVLink 上的 dispatch/combine。arXiv:2611.13188
-
在 DP(复制权重、压缩 KV 容量)与 TP(受 KV-head 数限制、跨机密集集合通信)之外,按 token 维度切分解码,同时保住 KV 容量与 attention 带宽。arXiv:2611.13293
-
DeepSeek-V4.1 的 203 GB Engram n-gram 表常驻主机 DRAM(4-GPU 服务进程共 223 GiB 中占 190 GiB),两层 Engram 的窗口差 30 倍(0.3 vs 9.3 ms),截止时间加会话复用才是放置决策的关键变量。arXiv:2611.13413
-
DSA 的 indexer 仍要为每个 query 打分整个因果前缀,长上下文下可占 prefill GPU 时间 50% 以上,层自适应稀疏 + 组级蒸馏是直接针对索引开销的削减。arXiv:2611.12956
-
A.X K2(SKT)、K-EXAONE 2.0(LG)、Solar Open 2(Upstage)、Motif-3 获官方优化配方,模型超出单卡即须跨卡切分——主权模型正在被动绑定到特定推理栈。NVIDIA Blog
-
支持 100 万 token 上下文,在 Terminal-Bench、AutomationBench 上有竞争力且强调解码速度——MoE 稀疏度换取的是单位请求成本而非峰值能力。雷锋网
-
InfoQ 文章把 agent 效率优化的落点从 prompt 技巧转向上下文预算管理,与上面两篇 prefix cache 论文指向同一结论。InfoQ