小胖鱼@Think· 调度器系列 博客首页
AI INFRA · GPU SCHEDULING · LANDSCAPE

AI GPU 调度常用方案全景
从 Gang 到拓扑与共享

当 GPU 成为最昂贵的稀缺资源,调度目标就从「能不能跑」升级为「如何有秩序、高效率、可审计地跑」。本文梳理当前 AI/GPU 调度的完整技术栈,给你一张能直接用于选型的全景图。

🗺️ 方案全景 🎯 Gang 三实现 🖥️ GPU 共享对比 ⏱️ 约 35 分钟

摘要:从「能跑」到「跑好」

当 GPU 成为最昂贵的稀缺资源,调度目标就从「任务能不能跑」升级为「如何有秩序、高效率、可审计地跑」。本文梳理当前 AI/GPU 调度的完整技术栈:从 Gang Scheduling 的三种实现、训练框架集成、拓扑感知放置,到 GPU 共享与虚拟化(整卡/MIG/vGPU/MPS/时间片/HAMi/DRA),再到弹性容错、主流调度器横向对比与六套参考架构。目标是给你一张能直接用于选型的全景图。

本文定位:这是一篇「方案地图」——帮你把散落的组件放进同一张图,理解各自解决什么问题、如何组合。深度原理请读 Kueue 深度指南、Volcano 原理详解,两者取舍见 对比篇、协同篇。

1. AI 训练调度的五大挑战

① 部分调度死锁

一个 16 卡训练任务,K8s 调度了 12 个 Pod,第 13~16 个因资源不足 Pending——已分配的 12 张卡空转等待,无法推进,甚至多个作业互相卡死。需要 Gang 语义。

② 资源碎片与低利用率

默认打散策略留下大量节点碎片,昂贵的 GPU 白白浪费。需要 Binpack + Backfill。

③ 通信拓扑敏感

分布式训练的 AllReduce 通信对节点间带宽/NUMA 极其敏感,放错位置性能骤降。需要拓扑感知放置。

④ 异构与资源口径

A100/H100/MIG/共享卡混部,「1 张 GPU」并不等价。需要资源建模(ResourceFlavor)与明确计量口径。

⑤ 多租户公平与治理

多团队争抢,需要「谁能用、用多少、何时用、是否公平」的秩序。需要队列、配额、准入、抢占与审计。

⑥ 弹性与容错

长训练任务会遇到抢占、故障、波峰波谷。需要 checkpoint、弹性伸缩与协作式抢占。

五大挑战(实为六个角度)彼此关联,没有单一组件能全部解决——这正是「方案拼装」的由来。

2. 方案全景:调度栈分层

当前 AI/GPU 调度方案可归纳为三层。理解分层,是选型的第一步。

🟪 框架/作业层 · 表达「训练作业是什么」
PyTorchJob / JobSet / RayJob / MPIJob / Kubeflow Trainer(Kthena) / VolcanoJob。负责描述分布式角色(driver/worker/parameter-server)、副本数、失败策略。
🟨 控制面 · 决定「谁能用、怎么排」
治理:Kueue(准入/配额/公平/承诺)。调度:Volcano(Gang/队列/抢占/拓扑)、kube-scheduler(原生 + Coscheduling / TAS)、YuniKorn、Koordinator。两者可正交组合。
🟦 数据平面 · 决定「资源单位与隔离」
整卡(nvidia.com/gpu) · MIG(硬切分) · vGPU/MPS/时间片(软共享) · HAMi(可声明共享) · DRA(动态资源分配,K8s 原生演进方向)。Device Plugin / GPU Operator 负责设备暴露。
选型逻辑:先定数据平面的资源单位(治理对象是什么),再定控制面的秩序与调度策略(怎么分、怎么排),最后选框架层如何表达作业。自下而上确定边界,再自上而下组合。

3. Gang Scheduling 三种实现

Gang 是 AI 调度的第一刚需。当前主流有三种实现路径,严格度与集成成本各异。

K8s 原生 Coscheduling

kube-scheduler 的 Coscheduling 插件,通过 PodGroup 实现 gang。2024 年起以 beta 形态演进(如 v1.31+ 的 Gang Scheduling)。优点:原生、无额外调度器;缺点:能力相对基础。

准入层 Kueue

All-or-nothing with PodsReady:Workload 作为整体准入,podsReadyTimeout 内未全部 Ready 则驱逐重排。优点:原生集成 + 配额治理一体;缺点:非严格调度级 gang。

调度层 Volcano

PodGroup + minMember + jobPipelineFn 占坑,凑齐后统一绑定。优点:严格 gang + 丰富调度策略;缺点:引入自定义调度器与 CRD。

路径严格度额外组件适合场景
K8s 原生 Coscheduling中无(内置插件)希望纯原生、gang 要求不极致
Kueue 准入层中Kueue多租户配额治理 + 作业级 gang
Volcano 调度层高Volcano 调度器严格 gang、分布式训练为主

4. 训练框架与作业集成

调度器要理解「作业」,需要框架层把分布式训练的角色与副本数表达出来。

PyTorchJob / MPIJob

Kubeflow Training Operator 提供,描述 Master/Worker/ParameterServer 等角色。Volcano 与 Kueue 都能与之集成(Kueue 通过 Workload 映射,Volcano 通过 PodGroup)。

JobSet

K8s SIG 的原生多模板作业 API,把一组 Job 当成可复制的集合,是 PyTorchJob 等的上层抽象。Kueue 对 JobSet 有原生集成。

RayJob

Ray 分布式训练/推理的作业抽象。Kueue 支持 RayJob 集成,可按 gang 语义排队与准入。

Kubeflow Trainer / Kthena

新一代训练平台抽象,屏蔽框架差异,提供训练生命周期管理(模板、重试、产物)。常与 Kueue 协同做训练任务治理。

趋势:作业 API 正在向「原生化 + 统一化」收敛(JobSet 作为共同底座)。选调度方案时,优先确认它对你的框架(PyTorchJob/RayJob/JobSet)是否有成熟集成,这往往比调度算法本身更影响落地成本。

5. 拓扑感知调度

分布式训练的性能瓶颈常常在网络而非算力。拓扑感知的目标是把「通信密集」的 Pod 放得足够近。

K8s 原生 Topology Spread

通过 topologySpreadConstraints 做打散(追求高可用),语义是「分散」。适合无状态服务的跨可用区部署。

Kueue TAS

Topology-Aware Scheduling 基于 Topology CRD 描述节点层级(rack/block),把同一 Workload 的 Pod 聚拢到同一拓扑域。语义是「聚拢」——注意与 Topology Spread「打散」相反。

Volcano 拓扑插件

numaaware(CPU NUMA 亲和)、task-topology(按任务通信关系优化放置)、网络拓扑感知(考虑节点间带宽)。

DRA 与设备拓扑

Dynamic Resource Allocation 支持按设备属性与拓扑分配资源(K8s v1.32+ 逐步成熟),是 GPU/设备感知调度的原生演进方向。

易错点:Kueue TAS(聚拢)与 K8s Topology Spread(打散)目标相反,不要混用。训练要低延迟通信→聚拢(TAS);服务要高可用→打散(Spread)。

6. GPU 共享与虚拟化

整卡粒度太粗,共享是提升利用率的关键。不同方案在「隔离强度」与「弹性/细粒度」之间取舍。

方案隔离强度粒度优点局限
整卡 nvidia.com/gpu强整卡最简单稳定、天然独占细粒度利用率有限
MIG(硬切分)很强1g/2g…离散硬件级隔离,适合 SLA 推理单位离散、重配置有成本、碎片
vGPU强虚拟切片硬件加速、显存隔离需商业授权、VM 场景为主
MPS中进程级吞吐高、免上下文切换无故障隔离、共享地址空间
时间片 Time-Slicing弱时间片配置简单、超卖灵活无内存/故障隔离、延迟不可预测
HAMi(可声明共享)取决于实现显存/算力份额细粒度、弹性、可声明隔离与干扰取决于实现,治理/观测要求高
DRA(原生演进)视设备结构化设备K8s 原生、设备属性/拓扑感知仍在演进,生态适配中
隔离 vs 灵活性排序:隔离强度 MIG > vGPU > MPS > Time-Slicing;灵活性 Time-Slicing > MPS > vGPU > MIG。生产推理 SLA 用 MIG;开发/轻推理用时间片;追求密度与细粒度用 HAMi,但必须配套更强治理与验收。

7. 弹性训练与容错

协作式抢占

Kueue 的抢占是可配置的(三个开关默认 Never):高优先级作业可抢占低优先级作业,被抢占者可优雅退出并保存 checkpoint。区别于「硬杀」,协作式抢占给训练留出保存现场的时间。

Dynamic Reclaim

Kueue 的 Workload 可通过 reclaimablePods 释放不再需要的配额(如弹性训练缩容后),把份额还给队列,提升整体利用率。

Partial Admission

当资源不足以一次性满足全部副本时,Kueue 可先准入一部分(Partial Admission),适合可弹性伸缩的训练,避免完全等待。

Checkpoint 与重试

框架层(如 VolcanoJob 的 PodEvicted → RestartJob 策略、Training Operator 的失败重试)负责从 checkpoint 恢复。调度层与框架层配合,才能做到「抢占不丢训练」。

8. 主流调度器横向对比

调度器Gang队列/公平替换默认调度器最佳场景
kube-scheduler(原生)⚠️ Coscheduling(beta)ResourceQuota(扁平)否(原生)单 Pod、推理服务
Kueue✅ 准入层 all-or-nothing✅ ClusterQueue + Cohort(精细)否(准入层)多团队、严格配额治理
Volcano✅ PodGroup(严格)✅ Queue + DRF/Proportion是(自带)分布式训练、HPC
Apache YuniKorn✅✅ 层级队列 + DRF是(替换)混合 K8s/Hadoop、科学计算
Koordinator✅ Gang✅ 层级 + 弹性配额增强调度器混部、资源超卖、QoS 治理

Koordinator 是阿里开源、CNCF 沙箱项目,侧重在线离线混部与资源超卖(CPU burst / 弹性资源),在国内混部场景应用较多。YuniKorn 源自 Hadoop 生态,层级队列与 DRF 成熟。选型时按「治理 vs 调度 vs 混部」主诉求判断。

组合视角:这些调度器并非只能单选。常见组合是「Kueue(治理)+ Volcano/Koordinator(调度/混部)+ HAMi/MIG(数据平面)」,用正交拼装覆盖复杂场景。详见 协同配合篇。

9. 六套参考架构速查

架构组合复杂度主要收益主要风险
A · 单队列整卡整卡 + 原生低最快上线无治理、不可预测
B · 多队列整卡整卡 + Kueue中公平与可预测策略设计不当致饥饿
C · MIG 池化MIG + Kueue中高强隔离 + 细粒度重配置/碎片/变更耦合
D · HAMi 共享HAMi + Kueue高高利用率 + 弹性干扰/计量/语义一致性
E · 训练增强Kueue + Volcano中高训练语义与吞吐多控制面协同复杂
F · 双池分治在线/离线分治高在线稳定 + 离线吞吐容量割裂/跨池策略复杂

快速选型:小团队先跑稳 → A;多团队要公平 → B;在线推理强隔离 → C;碎片化请求要利用率 → D;分布式训练语义强 → E;生产在线离线并存 → F。

10. 可观测与计量

控制面信号(Kueue / Volcano)

准入、配额占用、等待时长、抢占/回收事件、Gang 成功率、Workload 驱逐历史。回答「承诺了多少、排了多久、被抢了几次」。

数据面信号(DCGM 等)

实际 GPU 利用率、显存占用、带宽/干扰、真实 GPU-hours。DCGM Exporter 采集指标接入 Prometheus。回答「实际用了多少、有没有浪费」。

三层验收指标:调度层(排队时间、调度成功率、抢占/回收事件)· 性能层(吞吐/延迟 P50/P95/P99、抖动上界)· 运营层(用量归因、兑现率、超卖违约率、成本可解释性)。控制面与数据面数据对齐,才能形成稳健闭环。

11. 落地路线图与常见误区

三阶段落地路线

  • Phase 1 · 建立秩序
    整卡跑稳 → 引入 Kueue 做队列/配额/准入。先解决「谁能用、用多少、可预测」。
  • Phase 2 · 引入细粒度
    按诉求选 MIG(隔离)或 HAMi(利用率),同步强化验收与观测。
  • Phase 3 · 平台化分治
    训练复杂叠加 Volcano(或原生 Gang),在线/离线冲突强做双池分治。每阶段都要有验收指标与回滚路径。
  • 常见误区

    误区 1:「上了共享就万事大吉」——共享提升密度,但隔离、计量、干扰语义不一致会反噬。资源单位越细,验收越严格。

    误区 2:「 quota 配了就公平」——只有 ResourceFlavor 把异构显式化,配额才有意义;否则「10 张卡」对不同团队价值不同,形成隐性不公平。

    误区 3:「调度器越复杂越好」——先用最小可用闭环。很多团队的问题在治理缺失,而非算法不够强。

    误区 4:「Kueue TAS 就是拓扑打散」——TAS 是聚拢,Topology Spread 是打散,语义相反。训练要聚拢,服务要打散。

    12. 总结

    Gang
    第一刚需
    分层
    框架/控制/数据
    拼装
    正交组合
    演进
    可控到高效

    AI/GPU 调度不是选一个「最强调度器」,而是把框架层、控制面、数据平面按需求拼装成可交付、可运营、可复现的平台。先定资源单位,再建治理秩序,最后按负载复杂度逐步引入 gang、拓扑与混部。记住三句话:先定边界,再做组合;先求可控,再求高效;每步都有验收与回滚。理解了这个框架,面对层出不穷的新组件,你都能迅速判断它属于哪一层、解决什么问题、值不值得引入。

    元信息

    项内容
    目标读者AI 基础设施工程师、GPU 平台架构师、SRE
    技术栈版本K8s 1.29+;Kueue v1beta2;Volcano v1.9+;DRA 视 K8s 1.32+;HAMi/MIG/DCGM 依实现
    预计阅读时间约 35 分钟
    姊妹篇Kueue 深度指南 · Volcano 原理详解 · 对比篇 · 协同篇

    参考来源:Jimmy Song《AI 基础设施手册》、Kueue / Volcano 官方文档、InfraCloud《Batch Scheduling on Kubernetes: YuniKorn vs Volcano vs Kueue》、hikube / ajeetraina 技术博客、NVIDIA GPU 共享技术文档。方案数据基于公开资料整理,落地请以自家压测与版本文档为准。