摘要:从「能跑」到「跑好」
当 GPU 成为最昂贵的稀缺资源,调度目标就从「任务能不能跑」升级为「如何有秩序、高效率、可审计地跑」。本文梳理当前 AI/GPU 调度的完整技术栈:从 Gang Scheduling 的三种实现、训练框架集成、拓扑感知放置,到 GPU 共享与虚拟化(整卡/MIG/vGPU/MPS/时间片/HAMi/DRA),再到弹性容错、主流调度器横向对比与六套参考架构。目标是给你一张能直接用于选型的全景图。
1. AI 训练调度的五大挑战
一个 16 卡训练任务,K8s 调度了 12 个 Pod,第 13~16 个因资源不足 Pending——已分配的 12 张卡空转等待,无法推进,甚至多个作业互相卡死。需要 Gang 语义。
默认打散策略留下大量节点碎片,昂贵的 GPU 白白浪费。需要 Binpack + Backfill。
分布式训练的 AllReduce 通信对节点间带宽/NUMA 极其敏感,放错位置性能骤降。需要拓扑感知放置。
A100/H100/MIG/共享卡混部,「1 张 GPU」并不等价。需要资源建模(ResourceFlavor)与明确计量口径。
多团队争抢,需要「谁能用、用多少、何时用、是否公平」的秩序。需要队列、配额、准入、抢占与审计。
长训练任务会遇到抢占、故障、波峰波谷。需要 checkpoint、弹性伸缩与协作式抢占。
五大挑战(实为六个角度)彼此关联,没有单一组件能全部解决——这正是「方案拼装」的由来。
2. 方案全景:调度栈分层
当前 AI/GPU 调度方案可归纳为三层。理解分层,是选型的第一步。
3. Gang Scheduling 三种实现
Gang 是 AI 调度的第一刚需。当前主流有三种实现路径,严格度与集成成本各异。
kube-scheduler 的 Coscheduling 插件,通过 PodGroup 实现 gang。2024 年起以 beta 形态演进(如 v1.31+ 的 Gang Scheduling)。优点:原生、无额外调度器;缺点:能力相对基础。
All-or-nothing with PodsReady:Workload 作为整体准入,podsReadyTimeout 内未全部 Ready 则驱逐重排。优点:原生集成 + 配额治理一体;缺点:非严格调度级 gang。
PodGroup + minMember + jobPipelineFn 占坑,凑齐后统一绑定。优点:严格 gang + 丰富调度策略;缺点:引入自定义调度器与 CRD。
| 路径 | 严格度 | 额外组件 | 适合场景 |
|---|---|---|---|
| K8s 原生 Coscheduling | 中 | 无(内置插件) | 希望纯原生、gang 要求不极致 |
| Kueue 准入层 | 中 | Kueue | 多租户配额治理 + 作业级 gang |
| Volcano 调度层 | 高 | Volcano 调度器 | 严格 gang、分布式训练为主 |
4. 训练框架与作业集成
调度器要理解「作业」,需要框架层把分布式训练的角色与副本数表达出来。
Kubeflow Training Operator 提供,描述 Master/Worker/ParameterServer 等角色。Volcano 与 Kueue 都能与之集成(Kueue 通过 Workload 映射,Volcano 通过 PodGroup)。
K8s SIG 的原生多模板作业 API,把一组 Job 当成可复制的集合,是 PyTorchJob 等的上层抽象。Kueue 对 JobSet 有原生集成。
Ray 分布式训练/推理的作业抽象。Kueue 支持 RayJob 集成,可按 gang 语义排队与准入。
新一代训练平台抽象,屏蔽框架差异,提供训练生命周期管理(模板、重试、产物)。常与 Kueue 协同做训练任务治理。
5. 拓扑感知调度
分布式训练的性能瓶颈常常在网络而非算力。拓扑感知的目标是把「通信密集」的 Pod 放得足够近。
通过 topologySpreadConstraints 做打散(追求高可用),语义是「分散」。适合无状态服务的跨可用区部署。
Topology-Aware Scheduling 基于 Topology CRD 描述节点层级(rack/block),把同一 Workload 的 Pod 聚拢到同一拓扑域。语义是「聚拢」——注意与 Topology Spread「打散」相反。
numaaware(CPU NUMA 亲和)、task-topology(按任务通信关系优化放置)、网络拓扑感知(考虑节点间带宽)。
Dynamic Resource Allocation 支持按设备属性与拓扑分配资源(K8s v1.32+ 逐步成熟),是 GPU/设备感知调度的原生演进方向。
6. GPU 共享与虚拟化
整卡粒度太粗,共享是提升利用率的关键。不同方案在「隔离强度」与「弹性/细粒度」之间取舍。
| 方案 | 隔离强度 | 粒度 | 优点 | 局限 |
|---|---|---|---|---|
| 整卡 nvidia.com/gpu | 强 | 整卡 | 最简单稳定、天然独占 | 细粒度利用率有限 |
| MIG(硬切分) | 很强 | 1g/2g…离散 | 硬件级隔离,适合 SLA 推理 | 单位离散、重配置有成本、碎片 |
| vGPU | 强 | 虚拟切片 | 硬件加速、显存隔离 | 需商业授权、VM 场景为主 |
| MPS | 中 | 进程级 | 吞吐高、免上下文切换 | 无故障隔离、共享地址空间 |
| 时间片 Time-Slicing | 弱 | 时间片 | 配置简单、超卖灵活 | 无内存/故障隔离、延迟不可预测 |
| HAMi(可声明共享) | 取决于实现 | 显存/算力份额 | 细粒度、弹性、可声明 | 隔离与干扰取决于实现,治理/观测要求高 |
| DRA(原生演进) | 视设备 | 结构化设备 | K8s 原生、设备属性/拓扑感知 | 仍在演进,生态适配中 |
MIG > vGPU > MPS > Time-Slicing;灵活性 Time-Slicing > MPS > vGPU > MIG。生产推理 SLA 用 MIG;开发/轻推理用时间片;追求密度与细粒度用 HAMi,但必须配套更强治理与验收。7. 弹性训练与容错
Kueue 的抢占是可配置的(三个开关默认 Never):高优先级作业可抢占低优先级作业,被抢占者可优雅退出并保存 checkpoint。区别于「硬杀」,协作式抢占给训练留出保存现场的时间。
Kueue 的 Workload 可通过 reclaimablePods 释放不再需要的配额(如弹性训练缩容后),把份额还给队列,提升整体利用率。
当资源不足以一次性满足全部副本时,Kueue 可先准入一部分(Partial Admission),适合可弹性伸缩的训练,避免完全等待。
框架层(如 VolcanoJob 的 PodEvicted → RestartJob 策略、Training Operator 的失败重试)负责从 checkpoint 恢复。调度层与框架层配合,才能做到「抢占不丢训练」。
8. 主流调度器横向对比
| 调度器 | Gang | 队列/公平 | 替换默认调度器 | 最佳场景 |
|---|---|---|---|---|
| kube-scheduler(原生) | ⚠️ Coscheduling(beta) | ResourceQuota(扁平) | 否(原生) | 单 Pod、推理服务 |
| Kueue | ✅ 准入层 all-or-nothing | ✅ ClusterQueue + Cohort(精细) | 否(准入层) | 多团队、严格配额治理 |
| Volcano | ✅ PodGroup(严格) | ✅ Queue + DRF/Proportion | 是(自带) | 分布式训练、HPC |
| Apache YuniKorn | ✅ | ✅ 层级队列 + DRF | 是(替换) | 混合 K8s/Hadoop、科学计算 |
| Koordinator | ✅ Gang | ✅ 层级 + 弹性配额 | 增强调度器 | 混部、资源超卖、QoS 治理 |
Koordinator 是阿里开源、CNCF 沙箱项目,侧重在线离线混部与资源超卖(CPU burst / 弹性资源),在国内混部场景应用较多。YuniKorn 源自 Hadoop 生态,层级队列与 DRF 成熟。选型时按「治理 vs 调度 vs 混部」主诉求判断。
9. 六套参考架构速查
| 架构 | 组合 | 复杂度 | 主要收益 | 主要风险 |
|---|---|---|---|---|
| A · 单队列整卡 | 整卡 + 原生 | 低 | 最快上线 | 无治理、不可预测 |
| B · 多队列整卡 | 整卡 + Kueue | 中 | 公平与可预测 | 策略设计不当致饥饿 |
| C · MIG 池化 | MIG + Kueue | 中高 | 强隔离 + 细粒度 | 重配置/碎片/变更耦合 |
| D · HAMi 共享 | HAMi + Kueue | 高 | 高利用率 + 弹性 | 干扰/计量/语义一致性 |
| E · 训练增强 | Kueue + Volcano | 中高 | 训练语义与吞吐 | 多控制面协同复杂 |
| F · 双池分治 | 在线/离线分治 | 高 | 在线稳定 + 离线吞吐 | 容量割裂/跨池策略复杂 |
快速选型:小团队先跑稳 → A;多团队要公平 → B;在线推理强隔离 → C;碎片化请求要利用率 → D;分布式训练语义强 → E;生产在线离线并存 → F。
10. 可观测与计量
准入、配额占用、等待时长、抢占/回收事件、Gang 成功率、Workload 驱逐历史。回答「承诺了多少、排了多久、被抢了几次」。
实际 GPU 利用率、显存占用、带宽/干扰、真实 GPU-hours。DCGM Exporter 采集指标接入 Prometheus。回答「实际用了多少、有没有浪费」。
11. 落地路线图与常见误区
三阶段落地路线
常见误区
误区 1:「上了共享就万事大吉」——共享提升密度,但隔离、计量、干扰语义不一致会反噬。资源单位越细,验收越严格。
误区 2:「 quota 配了就公平」——只有 ResourceFlavor 把异构显式化,配额才有意义;否则「10 张卡」对不同团队价值不同,形成隐性不公平。
误区 3:「调度器越复杂越好」——先用最小可用闭环。很多团队的问题在治理缺失,而非算法不够强。
误区 4:「Kueue TAS 就是拓扑打散」——TAS 是聚拢,Topology Spread 是打散,语义相反。训练要聚拢,服务要打散。
12. 总结
AI/GPU 调度不是选一个「最强调度器」,而是把框架层、控制面、数据平面按需求拼装成可交付、可运营、可复现的平台。先定资源单位,再建治理秩序,最后按负载复杂度逐步引入 gang、拓扑与混部。记住三句话:先定边界,再做组合;先求可控,再求高效;每步都有验收与回滚。理解了这个框架,面对层出不穷的新组件,你都能迅速判断它属于哪一层、解决什么问题、值不值得引入。
元信息
| 项 | 内容 |
|---|---|
| 目标读者 | AI 基础设施工程师、GPU 平台架构师、SRE |
| 技术栈版本 | K8s 1.29+;Kueue v1beta2;Volcano v1.9+;DRA 视 K8s 1.32+;HAMi/MIG/DCGM 依实现 |
| 预计阅读时间 | 约 35 分钟 |
| 姊妹篇 | Kueue 深度指南 · Volcano 原理详解 · 对比篇 · 协同篇 |
参考来源:Jimmy Song《AI 基础设施手册》、Kueue / Volcano 官方文档、InfraCloud《Batch Scheduling on Kubernetes: YuniKorn vs Volcano vs Kueue》、hikube / ajeetraina 技术博客、NVIDIA GPU 共享技术文档。方案数据基于公开资料整理,落地请以自家压测与版本文档为准。