跳到主要内容

4 篇文档带有标签「L4」

查看所有标签

TensorRT-LLM 与 ONNX Runtime

从 TensorRT-LLM build 引擎、Inflight Batching 到 ONNX 导出、图手术与 ORT Execution Provider，与 vLLM 对照完成 NVIDIA 极致运行时与跨框架部署两条路径的动手闭环。

性能、成本与混合部署

多模型路由、边缘-云混合推理与容量规划的成本工程，配套一套推理慢路径排障 playbook 与可在纯 CPU 跑通的双模型路由网关实验。

推理加速机制

系统拆解 LLM 推理加速的四大机制——投机采样、Prefix Caching、量化与动态 batching，从原理到 SLA 工程落地，并动手对比 AWQ/GPTQ 量化的显存、时延与精度损失。

推理服务器与运行时

拆解 vLLM PagedAttention 与 Continuous Batching 的工业级 Serving 内核，对比 TensorRT-LLM / TGI / Triton 的运行时定位，并动手压测 KV Cache 占用与吞吐。