大模型推理的成本账

2025年下半年，深圳南山一家AI创业公司找到我们。他们自研了一个70B参数的大语言模型，部署在8张A100 80G上，日调用量5万次，每月GPU云资源费用12万。老板说了一句话："调用量再涨一倍，我们就亏本了。"

这个问题太典型了。大模型私有化部署，训练是一次性投入，推理是持续烧钱。模型越大、调用越多，推理成本越高。怎么优化？今天我们就聊聊TensorRT-LLM和vLLM这两个工具，以及量化、并行、缓存这些实战手段。

先说结论：通过合理的优化组合，70B模型的推理成本可以降低60-70%，而且几乎不影响输出质量。

推理框架选型：TensorRT-LLM vs vLLM

目前企业私有化部署大模型，推理框架主要就两个选择：

TensorRT-LLM：NVIDIA官方出品，深度优化GPU推理性能。核心优势是极致性能——通过层融合、内核自动调优、FP8/INT8量化等手段，吞吐量可以做到最高。缺点是配置复杂，需要编译引擎（Engine），不同模型、不同精度都要重新编译。

vLLM：伯克利实验室开源项目，核心创新是PagedAttention——把KV Cache分页管理，解决显存碎片化问题。优势是易用性好、支持模型多、内置服务化API。吞吐量比TensorRT-LLM低10-20%，但配置简单得多。

对比表：

对比项	TensorRT-LLM	vLLM
吞吐量	最高	高（低10-20%）
首Token延迟	低	低
配置复杂度	高（需编译Engine）	低（pip install即可）
模型支持	主流模型全覆盖	HuggingFace模型基本都支持
量化支持	FP8/INT8/INT4	INT8/INT4/AWQ
多节点推理	支持张量并行	支持张量/管道并行
生产成熟度	高（NVIDIA官方维护）	中高（社区活跃）
适用场景	极致性能要求	快速部署、多模型切换

我们的建议：追求极致性能选TensorRT-LLM，追求部署效率选vLLM。两者可以混用——核心业务用TensorRT-LLM，实验性模型用vLLM。

量化：成本优化的第一大杀器

量化（Quantization）是把模型权重从FP16/BF16（16位浮点）压缩到INT8（8位整数）甚至INT4（4位整数）的技术。好处显而易见：显存占用减半甚至 quarter，推理速度提升2-4倍。

但量化不是没有代价的——精度会损失。关键问题是：损失多少？能不能接受？

根据我们的实测数据：

模型	精度	显存	吞吐量	MMLU准确率	延迟变化
Llama-3-70B	FP16	140GB	基准	79.2%	基准
Llama-3-70B	INT8	74GB	1.8x	78.8% (-0.4%)	-45%
Llama-3-70B	INT4 (AWQ)	40GB	2.5x	77.5% (-1.7%)	-55%
Qwen2.5-72B	FP16	144GB	基准	82.3%	基准
Qwen2.5-72B	INT8	76GB	1.7x	81.9% (-0.4%)	-42%
Qwen2.5-72B	INT4 (GPTQ)	42GB	2.3x	80.6% (-1.7%)	-52%

关键发现：

INT8量化是甜点。精度损失不到0.5%，显存减半，速度提升80%。绝大多数企业场景下，INT8是最佳选择。

INT4量化需要谨慎。精度损失1-2%，对通用问答影响不大，但对代码生成、数学推理等高精度要求的场景，可能会出问题。建议先做业务评测，再决定是否上INT4。

AWQ和GPTQ是主流INT4方案。AWQ（Activation-Aware Weight Quantization）按激活值重要性做量化，GPTQ（Generative Pre-trained Transformer Quantization）逐层做量化。实测AWQ精度略好于GPTQ，但GPTQ量化速度更快。

TensorRT-LLM实战：从0到1编译引擎

以Llama-3-70B为例，用TensorRT-LLM编译INT8量化引擎的完整流程：

第一步：环境准备

需要NVIDIA GPU（A100/H100/L40S均可），CUDA 12.1+，TensorRT-LLM 0.10+。推荐用NVIDIA官方Docker镜像，省去环境配置的时间。

第二步：下载模型

从HuggingFace下载Llama-3-70B的权重文件。注意需要Meta的授权，先申请访问权限。

第三步：构建引擎

使用TensorRT-LLM的build脚本，指定模型路径、量化类型、并行策略。70B模型单卡放不下，需要张量并行（Tensor Parallelism），8卡A100的话，tp_size=8。

编译过程大约需要30-60分钟，取决于GPU型号和模型大小。编译完成后生成一个Engine文件，后续推理直接加载这个文件，不需要再编译。

第四步：部署服务

TensorRT-LLM提供了Triton Inference Server集成，也可以直接用自带的run.py脚本做测试。生产环境推荐用Triton，支持并发请求、动态批处理、模型版本管理。

实测数据：8卡A100 80G，Llama-3-70B INT8量化，batch_size=64，吞吐量约1800 tokens/s（输出），首Token延迟约80ms。

vLLM实战：5分钟部署一个推理服务

vLLM的优势就是简单。几行代码就能跑起来：

安装：pip install vllm，完事。

启动服务：vllm serve meta-llama/Llama-3-70b --tensor-parallel-size 8 --quantization fp8

就这么简单。--tensor-parallel-size 8表示用8张GPU做张量并行，--quantization fp8表示用FP8精度。vLLM自动处理模型下载、权重加载、并行策略。

启动后自动提供一个OpenAI兼容的API端点，你的应用代码不需要改，直接把API地址指向vLLM服务就行。

实测数据：8卡A100 80G，Llama-3-70B FP8量化，max_num_seqs=256，吞吐量约1500 tokens/s（输出），首Token延迟约90ms。比TensorRT-LLM低约15%，但部署时间从1小时缩短到5分钟。

PagedAttention：vLLM的核心黑科技

vLLM为什么效率高？核心是PagedAttention技术。

大模型推理时，每个请求都需要维护一个KV Cache（键值缓存），存储之前所有Token的注意力计算结果。传统方式下，KV Cache是连续分配的显存，但随着请求的进入和退出，显存会产生大量碎片。

根据vLLM论文的数据，传统方式下显存碎片率高达60-80%。也就是说，你80G的GPU，实际能用的KV Cache可能只有20-30G。

PagedAttention把KV Cache分页管理，类似操作系统的虚拟内存。不再需要连续显存，碎片率降到5%以下。同样的GPU，能同时处理的请求数（并发度）提升2-3倍。

这对企业意味着什么？同样的硬件，能服务更多用户。或者反过来说，服务同样多的用户，需要的GPU更少。

并行策略：单卡不够怎么办？

70B模型单卡放不下，必须用并行。主流的并行策略有三种：

张量并行（Tensor Parallelism, TP）：把模型的每一层（矩阵乘法）切分到多张GPU上。通信量最大，但延迟最低。适合同一台服务器内的多卡（通过NVLink连接）。

管道并行（Pipeline Parallelism, PP）：把模型的不同层分配到不同GPU上。通信量小，但会有气泡（bubble）——某些GPU在等待其他GPU完成计算。适合跨服务器的多卡。

数据并行（Data Parallelism, DP）：每个GPU放一份完整模型，处理不同的请求。最简单，但显存占用不变。适合7B-13B这种小模型。

70B模型的实际部署，推荐TP=8（同一台8卡服务器），不需要PP。如果一台服务器只有4卡，那就TP=4，但吞吐量会减半。

多节点部署的话，可以用TP+PP组合。比如16卡，TP=4 + PP=4，把模型切成4个阶段，每个阶段4张卡做张量并行。

缓存策略：别重复计算

企业场景中，很多请求的prefix（前缀）是相同的。比如系统提示词、few-shot示例、RAG的检索结果。这些内容每次都要重新计算Attention，纯属浪费。

两个缓存优化手段：

Prefix Cache：缓存相同前缀的KV Cache。下次遇到相同前缀，直接复用，跳过计算。vLLM内置支持，TensorRT-LLM需要自行实现。

Response Cache：对于重复性问题，直接缓存完整回答。比如FAQ、客服常见问题。用向量数据库存储问题-答案对，命中就直接返回，不走模型推理。

我们的一个客户（智能客服场景），加了Prefix Cache + Response Cache后，实际走模型推理的请求量减少了40%，GPU成本直接降了40%。

硬件选型建议

推理场景下，GPU选型要看几个维度：

A100 80G：推理的甜点卡。80GB显存可以跑70B模型的INT8量化，FP16带宽691GB/s。二手市场价格约5-8万/张，性价比不错。

L40S：Ada架构，推理性能接近A100，价格更便宜（约3-4万/张）。但显存只有48GB，跑70B模型必须INT4量化。适合13B-34B模型的推理。

H100：性能最强，FP8推理速度是A100的2-3倍。但价格太贵（20万+/张），中小企业没必要。

国产替代：昇腾910B：华为昇腾910B的推理性能接近A100，显存64GB。软件生态（MindSpore）不如NVIDIA成熟，但信创场景下是首选。

对于70B模型的推理，我们的推荐配置是：8卡A100 80G（NVLink互联），INT8量化，TensorRT-LLM或vLLM推理。月成本约2-3万（含电费），可以支撑日均10-20万次调用。

实际案例：深圳某金融科技公司的推理优化

这家公司用Qwen2.5-72B做金融问答和研报摘要，之前用vLLM + FP16部署在8张A100上，每月GPU费用约3万，日均调用3万次。

我们帮他们做了以下优化：

1. FP16 → INT8量化：精度损失0.3%，吞吐量提升75%，显存占用从144GB降到76GB。

2. 开启PagedAttention：并发请求数从128提升到256，GPU利用率从45%提升到72%。

3. 加Prefix Cache：系统提示词（约500 tokens）缓存复用，实际推理量减少35%。

4. 动态批处理：vLLM的max_num_seqs从128调到256，小请求合并处理，吞吐量提升20%。

优化后的效果：

• 吞吐量从800 tokens/s提升到1600 tokens/s
• 日均调用量从3万提升到8万（翻倍以上）
• GPU费用不变（还是8张A100）
• 单次调用成本从1.0元降到0.375元（降62.5%）
• P99延迟从350ms降到180ms

CTO的评价是："同样的硬件，多服务了2.5倍的用户，成本还降了。早知道优化效果这么好，半年前就该做。"

监控与调优

推理服务上线后，持续监控很重要：

关键指标：吞吐量（tokens/s）、首Token延迟（TTFT）、生成延迟（每Token时间）、GPU利用率、显存使用率、队列长度。

告警阈值：GPU利用率持续低于30%（说明过配，可以减卡），队列长度超过100（说明欠配，需要加卡或优化），P99延迟超过500ms（用户体验下降）。

工具推荐：Prometheus + Grafana监控GPU指标，vLLM自带/metrics端点导出Prometheus格式数据。TensorRT-LLM可以通过Triton的metrics端点导出。

选型建议

给正在规划大模型推理的企业几个建议：

1. 先做业务评测。选定模型后，用你的实际业务数据做评测，确定能接受的精度损失范围。再根据精度要求选择量化级别。

2. INT8量化是首选。精度损失极小，性能提升明显。除非显存极度紧张，否则不要上INT4。

3. vLLM适合快速上线。部署简单、模型支持广、社区活跃。先跑起来，再考虑用TensorRT-LLM做极致优化。

4. 缓存优化收益巨大。Prefix Cache和Response Cache在企业场景下效果显著，特别是客服、问答等重复性高的场景。

5. 别盲目上大模型。7B-13B模型在特定任务上可能比70B通用模型表现更好。用任务微调的小模型，推理成本只有大模型的十分之一。

FAQ

Q：INT8量化后模型质量真的没问题吗？

A：我们实测过Llama-3-70B、Qwen2.5-72B、Baichuan2-53B等多个模型，INT8量化的MMLU准确率损失都在0.5%以内。日常问答、摘要生成、代码辅助等场景，用户几乎感知不到差异。但对数学推理、代码生成等高精度场景，建议先做业务评测。

Q：vLLM和TensorRT-LLM能一起用吗？

A：可以。核心业务用TensorRT-LLM追求极致性能，实验性模型和快速验证用vLLM。两者都提供OpenAI兼容API，应用层不需要改代码。

Q：70B模型最少需要几张GPU？

A：INT4量化下，4张A100 80G可以跑（每张放约10GB权重）。但吞吐量和并发度会受限。推荐8张，性能和成本最平衡。

Q：国产GPU能跑大模型推理吗？

A：华为昇腾910B可以，但软件生态不如NVIDIA成熟。需要适配MindSpore框架，部分模型需要自行转换权重。信创场景下是必选项，非信创场景建议先用NVIDIA。

Q：推理成本还能再降吗？

A：可以。除了量化和缓存，还有几个方向：用小模型做路由（简单问题用7B模型回答，复杂问题才用70B）、 speculative decoding（用草稿模型加速生成）、蒸馏（把70B的知识蒸馏到13B模型）。这些技术组合使用，推理成本可以再降30-50%。

总结

大模型推理优化不是玄学，是有方法论的。量化的收益最大（INT8降成本60%），缓存的收益最容易被忽视（企业场景下再降30-40%），框架选型影响部署效率（vLLM快，TensorRT-LLM强）。

核心思路就一条：别浪费每一次计算。能缓存的不重算，能量化的不浮点，能合并的不分开。

有私有化大模型部署需求的企业，欢迎联系我们聊聊。帮你看清楚模型选型、硬件配置、优化方案，少走弯路。

联系我们：13510444731（7×24小时）