推理卡和训练卡怎么选？我们买错一次后算明白了

导读

上个月帮一家做工业质检的客户选推理服务器，我按老经验报了一套 8 卡 A800 的方案。客户拿着方案去比价，回来问我：「我只是跑推理，为什么要买训练卡？」这一问问得我后背发凉——重算一遍，训练卡方案三年总成本比推理卡方案贵了整整 50 万。今天把这次买错方案的过程完整复盘，说说推理卡和训练卡到底怎么选。

踩过的三个坑

坑一：只看算力峰值，不看部署形态。客户要跑的是训练好的 YOLO 检测模型做实时质检，属于纯推理场景。我照搬了上一年训练项目的配置思路，选了 8 卡 A800。压测结果很难看：8 卡平均利用率只有 18%，70% 的时间 GPU 在空转待命，算力买回来九成在睡觉。

坑二：无视显存需求和互联拓扑。客户模型量化后只要 6GB 显存，单张 48GB 显存的推理卡 L20 完全够跑 8 路并发。我却按训练习惯配了 80GB 显存的 A800，多花的钱全在显存和 NVLink 互联上——推理负载根本吃不到这些特性。

坑三：供电和散热没算进成本。A800 单卡功耗 300W，8 卡整机满载近 3kW，客户老机房两排机柜的供电余量根本不够，还得加 8 万做市电扩容和空调改造。换成推理卡后，整机功耗掉到 2.2kW 以下，普通机柜直接落地。

我们最终怎么解决的

把三套方案摆在一起比，结论立刻清楚：

对比项	训练卡方案（8卡A800）	推理卡方案（8卡L20）	混合方案
整机采购价（参考）	约 62 万	约 28 万	约 45 万
单卡功耗	300-400W	150-275W	—
整机满载功耗	约 6.4kW	约 2.2kW	约 4.2kW
推理利用率	18%（压测）	65%（压测）	—
机房改造	需要 8 万	不需要	部分需要
适合	训练/微调	纯推理	边训边推

客户最终选了 8 卡 L20 的推理卡方案：2 台 4 卡服务器，28 万落地，质检吞吐从需求线的 12 batch/s 做到了 26 batch/s，余量充足。

给你的行动清单

• 先分清场景：有训练/微调需求才考虑训练卡；只跑推理，一律按推理卡选型
• 拿真实模型做量化压测，统计 GPU 利用率——连续一周平均低于 30%，说明算力买多了
• 按三年 TCO 算总账：采购价 + 电费 + 机房改造 + 维保，别只看单卡价格
• 留扩展位：推理流量涨了先加推理卡，哪天真要训练再单独规划训练集群
• 让厂商签 PoC 承诺，出实测报告再付款，避免「纸面算力」陷阱

算一笔账

以客户真实场景（48 路并发质检、3 年生命周期、电价 0.8 元/度）算：训练卡方案 62 万采购 + 机房改造 8 万 + 电费约 4.5 万/年（6.4kW × 24h × 365 天 ≈ 5.6 万度）× 3 年 ≈ 13.5 万，三年合计约 83.5 万；推理卡方案 28 万采购 + 电费约 1.5 万/年（2.2kW × 24h × 365 ≈ 1.9 万度）× 3 年 ≈ 4.5 万，三年合计约 32.5 万。同样是满足质检并发需求，三年差了 51 万，够再买一台推理服务器加三年维保。价格因品牌、渠道和行情波动，但量级差不会变：纯推理场景上训练卡，多付的每一分钱都在为用不上的训练能力买单。

行动建议：下次选型先回答一个问题——你的模型是「要训练」还是「只用」？只用就锁推理卡，用实际模型压测出利用率再定卡数；把供电、散热、电费全部折进三年总成本。这趟 50 万的学费，希望你别再交一次。