GPU多了反而更卡？老IT聊聊AI算力调度平台怎么把活排明白

昨天聊完算力网关，有朋友接着问：网关把 GPU 管起来了，那"任务"谁来排？比如训练要 8 张卡跑三天，推理要随时响应，两边还都想占同一批卡，光有个入口可不够。这就是今天要聊的——AI 算力调度平台。

先分清两个东西：网关管"谁能用、用多少"，调度平台管"任务怎么排、卡怎么分"。一个是门口查票的，一个是里面排座位的。昨天讲的是门，今天讲讲座位。

先看一个再常见不过的场景

公司 GPU 从两台变成五六台之后，问题往往不是"不够用"，而是"用不好"。

白天业务那边要跑推理，算法组在跑训练，两边都盯着那几张卡。没有调度平台的时候怎么协调？基本靠开会、靠喊、靠群里发表情包。有人半夜把训练任务挂上去，第二天早上发现另一拨人的活被卡在后面等了一宿。更气人的是，有些任务跑完了没人收，进程还占着显存，别人排队的还以为机器满了。

说实话，不少团队机器买回来一年，利用率连三成都不到。不是卡不行，是活没排明白。

调度平台到底在调度什么

说白了就四件事。

第一，排队。 谁的任务先跑、谁后跑，不再靠嗓门，靠规则。训练这种重活可以设成低优先级、跑夜间窗口，推理服务设成高优先级随时插队。规则写死，谁也别委屈。

第二，切卡。 一张高性能卡，训练要用整卡，推理可能半张卡就够。调度平台能把一张卡切成几份分给不同任务，互不干扰。就像整间办公室改成工位加隔间，利用率自然上去了。

第三，配额。 每个部门、每个项目分多少算力，提前定好。超了可以排队等，也可以找管理员临时加，账记得清清楚楚。月底一拉报表，谁用得多谁用得少，不用猜。

第四，盯着。 哪个任务卡住了、哪张卡温度高了、哪个程序在空转，平台都能看到。以前靠运维半夜爬起来翻日志，现在异常自己报警。

三个词先弄明白，再看什么方案

聊调度绕不开三个词，用大白话讲一下。

任务队列（Queue）。 所有提交上来的活排成一条队，平台按优先级和资源需求决定谁先执行。就像食堂打饭，有特殊窗口，也有普通窗口排队。

GPU 共享与切分（Sharing / MIG）。 把一张卡按显存或算力切成多个独立的小卡，多个任务同时用。切得好不好，直接影响利用率能拉多高。

抢占与恢复（Preemption）。 高优先级任务来了，低优先级任务可以让位，跑一半的进度保存好，回头接着跑。这个功能看着小，实际用起来非常救命。

这三个词弄明白了，再去听厂商讲方案，就不容易被绕进去。

方案怎么选：从"够用"到"好用"

市面上的做法大致分三档，按公司规模对号入座。

第一档：自己写脚本。 两三台机器、几个固定的人用，写个简单的排队脚本就够了。优点是零成本，缺点是没报表、没隔离，人一走脚本就没人维护了。

第二档：开源调度器。 像 Kubernetes 的 GPU 插件、Slurm 这类，适合有一定技术底子的团队。灵活、可控，但得有人养，出了问题自己扛。

第三档：商用调度平台。 开箱即用，排队、切卡、配额、报表全都有，服务也算在内。适合机器多、部门多、不想自己折腾基础设施的公司。价格不便宜，但算总账往往比养两个人维护自建系统划算。

我的建议很朴素：先数清楚你们有多少卡、多少任务、几个人管。卡少于四张，第一档够用；有技术团队且愿意长期维护，考虑第二档；超过十张卡、多个部门共用，直接看第三档，别在中间纠结太久。

三个坑，提前说

坑一：把调度平台当"排队机"用。 装完只管排队，切卡、配额、报表全不开，等于买了个高级闹钟。平台的价值一半在数据，不开这些功能，后面想优化都无从下手。

坑二：切卡策略拍脑袋。 一张卡切成几份、每份多大，得按实际任务测。切太碎，大任务跑不动；切太大，小任务浪费。先跑两周真实负载再定策略，别上来就一刀切。

坑三：忽略故障迁移。 卡坏了、节点宕了，任务能不能自动换台机器接着跑，这是调度平台的核心价值之一。没配好之前，别把核心训练任务全压上去。

说句实在话

算力这事，买卡是一锤子买卖，用卡是细水长流。网关把门看住了，调度平台把活排顺了，GPU 集群才算真正变成资源池，而不是一堆各自为政的机器。

如果你公司正卡在"卡买了、用不好"这个阶段，可以先干一件事：把最近一个月的任务列出来，看看到底是排队多还是空转多。这个答案会直接告诉你，你缺的是调度平台，还是只是缺个会分活的人。

拿不准的可以一起聊聊，我们这几年帮企业搭过不少算力环境，从几台机器的小集群到几十张卡的大池子都碰过，可以帮你看看你们现在最该补的是哪一环。