性能、成本与混合部署
多模型路由、边缘-云混合推理与容量规划的成本工程，配套一套推理慢路径排障 playbook 与可在纯 CPU 跑通的双模型路由网关实验。
2 篇文档带有标签「inference-serving」
查看所有标签推理服务器与运行时
拆解 vLLM PagedAttention 与 Continuous Batching 的工业级 Serving 内核，对比 TensorRT-LLM / TGI / Triton 的运行时定位，并动手压测 KV Cache 占用与吞吐。
多模型路由、边缘-云混合推理与容量规划的成本工程，配套一套推理慢路径排障 playbook 与可在纯 CPU 跑通的双模型路由网关实验。
拆解 vLLM PagedAttention 与 Continuous Batching 的工业级 Serving 内核，对比 TensorRT-LLM / TGI / Triton 的运行时定位，并动手压测 KV Cache 占用与吞吐。