花80万买AI服务器三个月后成摆设，算力采购避坑实录

一、故事切入

上个月我去东莞一个做精密模具的客户那边做机房巡检，刚进门就被他们IT主管老周拉到角落里，一脸苦笑地指着机房角落两台落了灰的4U机箱说：“兄弟，这就是我去年花80万买回来的宝贝，现在开机都懒得开，开了就是给机房供暖。”

老周他们公司去年接了个大客户的质检项目，要用机器视觉做产品表面缺陷检测——话说是深度学习，得跑训练模型。老板从某大厂听了两小时AI宣讲，回来就把老周叫办公室：“这事交给你，80万预算，把服务器买了，把AI搞起来。”

老周当时也谨慎，问了一圈做AI的朋友，有人给他推荐了带8块A100的AI服务器，也有人劝他先用消费级显卡试试水。但老板拍板快，供应商也热情，合同签得飞速。结果呢？3个月后项目验收，模型推理速度确实比原来老服务器快了不少，但训练一次模型要跑十几个小时，老周他们的算法工程师天天骂人。再往后项目转产了，推理任务搬到了公有云上跑，这80万买回来的AI服务器就彻底成了“电老虎”——单机满载能吃掉4千瓦电，机房空调原来按3千瓦一柜设计的，供电和散热全超标。上个月看看电费单，老周说心在滴血。

这事不是个例。我见过太多企业，一听说AI就脑子发热，上来就买最贵的AI服务器，结果要么算力用不满，要么散热跟不上，要么根本没人会调优。今天把这个故事拆开揉碎了讲讲，希望你能绕开这些坑。

二、问题分析

老周这80万买AI服务器踩的坑，总结下来是四个地方出了问题：算力评估、硬件选型、机房环境、运维能力。这里逐个拆开说。

第一个也是最核心的问题：算力评估是拍脑袋拍的，不是算出来的。老周他们到底需要什么算力？做机器视觉，分训练和推理两个阶段。训练阶段是间歇性的、重算力的，模型要反复迭代，一群工程师要反复跑实验；推理阶段是持续性的、轻算力的，模型训练好之后就固定在产线上跑，几张工业相机拍图，实时出结果。老周他们真正的高频需求是推理，对算力要求没那么极端，但供应商给他配的是训练级AI服务器，8块A100，单卡显存80G，这配置跑推理简直是拿大炮打蚊子——又贵又费电。正确的做法是先评估业务模式到底偏训练还是偏推理，训练占多少，推理占多少，再按峰值需求规划算力。老周当时听供应商说“GPU越多越好、显存越大越好”，就白白多花了一半钱。

第二个坑是硬件选型完全没考虑生态兼容性。AI服务器不只是显卡堆料的事，还涉及到CPU、内存、存储、网络、NVLink互联、CUDA版本、驱动、深度学习框架的适配。老周买的AI服务器用的是某个小众品牌的GPU加速卡，供应商号称“兼容CUDA”，实际上好多算子根本编译不过去，算法工程师得天天给厂家打技术支持电话，来回折腾一个多月才把环境调通。真正省心的AI服务器，应该是Intel或AMD的CPU平台配上NVIDIA的主流GPU，或者直接买华为昇腾这种整机生态方案，驱动、推理引擎、训练框架都给你调好了，开箱即用。买小众硬件省钱，但省下的钱最后都变成了工程师的加班时间，这账算不得。

第三个坑是机房基础设施没跟上。AI服务器的功率密度是普通服务器的4-5倍，单机柜功率上到8-10千瓦很正常。老周他们机房空调是老的舒适性空调，单柜制冷量设计只有3千瓦，服务器一跑起来，机柜出风口的温度能到50度，GPU直接热降频——性能掉30%不说，还容易出故障。供电也一样，老机房的UPS容量是按原来机柜负载算的，两台AI服务器一加，整个机房的电流直接超了，动环监控天天报警。买AI服务器的预算里，一定要包含机房改造的费用——精密空调、列间制冷、UPS扩容、综合布线，这些钱省不得。我见过一个客户买了几百万的AI服务器，结果机房没改造，夏天高温天不敢全速跑，只能错峰运行，算力打个七折在用，你说亏不亏。

第四个坑是运维和调优能力几乎为零。AI服务器不是装好系统就能跑，要配CUDA环境、装深度学习框架、做GPU监控、处理任务调度。老周他们公司原来就两个运维，管管VMware和文件服务器还行，GPU驱动更新、CUDA版本管理、多卡任务分配这些完全没碰过。出了一堆问题，比如训练跑着跑着显存爆了，作业莫名其妙被kill了，一问三不知。这背后还牵扯到数据准备和模型训练流程——数据怎么标注、模型怎么训练、怎么评估、怎么部署上线，每一环都是专业活。老周他们内部没人懂这个，凡事都靠外包供应商远程支持，人家忙的时候你排不上队，最后拖到项目黄了。

三、解决方案

如果让我给老周或者任何准备采购AI服务器的企业画个路线图，那一定是下面这套四步走。

第一步，想清楚业务场景和算力需求再动手。先列出你未来两年要跑的AI业务：是训练多还是推理多？训练的话预计哪些模型，数据量多大，对显存和卡数的最低要求是什么？推理的话峰值QPS是多少，单次推理时延要求几毫秒？算不清楚的，可以小批量先上公有云或买一两张卡试跑，拿真实业务数据摸一下底。我以一个搞了几年的老兵身份跟你说，90%的企业实际算力需求比供应商报价预估的低一到两个数量级。老周这台AI服务器如果换成单卡或双卡推理卡，再配一台公有云按需跑训练，成本能控制在25万以内，事还办得更漂亮。

第二步，硬件选型遵循“主流优先、整机优先”原则。别买非主流品牌加速卡，别自己攒整机，就买大厂认证过的AI服务器整机方案。NVIDIA的DGX系列、浪潮的NF系列、华为的Atlas系列、宁畅的AI系列，这些都是经过大规模市场验证的产品，驱动闭源也好、开源也好，至少全国有几百个工程师能帮你排查问题。选型号的时候注意三点：一，GPU型号和数量宁少勿多，先满足80%场景需求；二，CPU和GPU要匹配，别搞出GPU跑满CPU空闲的畸形配置；三，硬盘和内存的容量按数据量合理配比，别光盯着显卡看。老周最后换的方案是两台搭载了双卡L40S的AI推理服务器加一台公有云按量付费的训练资源池，总账算下来比原来还划算。

第三步，机房改造预算必须一开始就留出来。一台AI服务器上柜之前，先量好功率。拿额定功率乘以1.5的安全系数，然后来看这功率你这机柜撑不撑得住。撑不住就两条路：一是改造成高密度机柜——列间空调、冷通道封闭、精密配电柜这些都上，一般能支撑单柜8-15千瓦；二是把AI服务器放到专业的智算中心去托管，在别人那租带GPU的算力服务也行。这个决策点越早做越好，等机器到了再发现机房进不去，那就尴尬了。我给老周算过一笔账，机房租一个高密度区域、配好精密空调和供电，一个月两三万块，但也比80万设备报废了要强得多。

第四步，运维和调优要么补人，要么买服务。怎么判断自己是补人还是买服务？你算算你的AI项目是不是持续性项目——如果是，就值得招一个有CUDA和Python经验的算法工程师或运维工程师，年薪三四十万但能长期解决问题；如果只是阶段性做一两个场景，那就直接跟AI服务器供应商签维保和调优服务合同，远程支持加季度巡检，把环境维护、驱动更新、任务调度全部打包给他们负责。特别提醒，签合同的时候一定要把“显存溢出谁来解决”“驱动更新兼容性谁来保证”写清楚，别等到出了问题再扯皮。

四、经验总结

把老周这个80万的教训浓缩成几句实在话。

其一，AI服务器不是资产，是负债。设备上架的那一刻就开始折旧，电费每天在烧，机房空间被占着，运维在操心——如果你业务的算力需求没想明白，每一分钟的闲置都是在亏损。

其二，算力需求的估算要基于你的业务真实流量，不是基于供应商PPT里的宣传数字。我见过太多的企业，业务一个月就几百次推理调用，硬是买了训练级的算力，最后不如租云。

其三，买AI服务器就是买生态。主流的NVIDIA CUDA生态、华为昇腾CANN生态，选哪个都行，但一定选生态成熟的。选非主流的卡自己折腾，最终会把精力全部耗在环境配置上。

其四，单台AI服务器动辄十几万几十万，强烈建议在做任何采购决定之前，先借一台样机或者租几天的云上GPU，把你的真实模型跑一跑，看看训练速度和推理时延到底能不能满足，再决定买什么买多大。别嫌麻烦，这是最省钱的测试手段。

其五，机房改造的费用一定要算进项目的总成本里去。买得起好马，就得配得起好鞍。我见过好几个企业最后为了省机房的改造费，把AI服务器放到办公区角落用空调吹着，结果倒置了噪音和散热灾难，最后还得推倒重来。

回到老周的案例，他上个月已经申请把那两台AI服务器挂到二手市场去回笼资金了，现在换了租算力的方案，项目也重新启动了。他说如果早有人跟他掰扯清楚这些，80万不至于打水漂。华南腾飞科技这三年帮超过30家企业做算力评估和机房规划，我们的原则始终一条：先搞清楚你要多少个瓦特，再决定你掏出多少个万。

顺带说一句，刚才讲的评估方法、选型思路、机房改造细节，我们内部整理成一个算力自检表，以后有客户拿着这个表来找我聊AI服务器的事，沟通效率能高出一大截。