摘要:正交组合
Kueue 与 Volcano 的关系常被描述为「正交但可组合」:Kueue 决定谁能进场、能占多少、何时放行(准入、配额、承诺、统计),Volcano 决定怎么排座位、放在哪(作业级调度、Gang、抢占回收)。它们作用于作业生命周期的不同阶段,因此可以在同一集群中叠加,形成「先治理、再调度」的完整闭环。本文讲清两者的分工边界、协同工作流、具体对接方式,以及如何按组织成熟度渐进演进。
1. 为什么能配合:职责不重叠
两者能配合的根本原因,是它们作用在同一个作业的不同阶段,而不是抢同一件事。
用 Jimmy Song 的话总结
准入 + 配额 + 承诺 + 统计,是平台化的底座。解决多团队多租户下的稳定秩序与可预测体验。
训练/作业语义、Gang/Queue 策略,是训练类负载的加速器。补齐分布式作业的调度表达能力。
2. 组合架构:数据平面 + 控制面
把视角拉高到整个 GPU 平台,Kueue 与 Volcano 都位于「控制面」,而它们之下还有「数据平面」,之上还有「平台层」。理解这三层,才能看清两者在整体架构中的位置。
nvidia.com/gpu,隔离强、细粒度有限) · MIG(硬切分、强隔离、单位离散、重配置有成本) · 共享/虚拟化(以 HAMi 为代表,资源更细粒度、更弹性,隔离与干扰取决于实现)。3. 协同工作流:一次训练作业的生命周期
看一个具体例子:某团队提交一个 8 卡 PyTorch 分布式训练作业,在 Kueue + Volcano 组合下会经历什么。
- 提交与挂起用户提交 PyTorchJob,指定 queue-name。Kueue Webhook 注入
suspend: true,生成 Workload 入 LocalQueue,作业被「冻住」。 - Kueue 配额准入Kueue 调度器按 ClusterQueue 的 nominalQuota / borrowingLimit 与 ResourceFlavor 判断是否有配额。有配额则标记 Workload 为 Admitted,占用配额。
- 解除挂起Kueue 将
suspend置为 false,Job Controller 创建 Pod。此刻起,Kueue 的职责基本完成(进入「已承诺」状态)。 - Volcano Gang 调度这些 Pod 由
schedulerName: volcano接管。Volcano 通过 PodGroup 判断 8 个 worker 是否都 Ready;不足则占坑预留,凑齐后统一绑定到节点。 - 放置优化Volcano 的 binpack / nodeorder / numaaware / 网络拓扑插件在 allocate 阶段优化放置,减少碎片与通信开销。
- 运行、抢占与归还高优先级作业可触发 Volcano 抢占;作业完成后 Kueue 释放配额归还 ClusterQueue,Workload 删除,闭环结束。
suspend 状态与 schedulerName 衔接——这也是组合配置的抓手。4. 分工边界:谁管什么
| 职责 | Kueue | Volcano | 备注 |
|---|---|---|---|
| 作业排队 | ✅ 主责 | ✅ 也有队列 | ⚠️ 潜在重叠点,需明确以谁为准 |
| 配额与承诺 | ✅ 主责(精细) | ⚠️ 基础能力 | 治理与对账交给 Kueue |
| Gang 调度 | ⚠️ 作业级 | ✅ 主责(调度级) | 严格 gang 交给 Volcano |
| Pod 节点放置 | ❌ 不做 | ✅ 主责 | Kueue 明确边界 |
| 抢占与回收 | ✅ 配额层 | ✅ 调度层 | ⚠️ 两层都可能触发,需避免策略打架 |
| 异构资源建模 | ✅ ResourceFlavor | ⚠️ 设备插件 | 差异显式化交给 Kueue Flavor |
| 训练作业语义 | ⚠️ 集成映射 | ✅ 主责 | VCJob / PodGroup 由 Volcano 管理 |
| 统计与对账 | ✅ 主责 | ⚠️ 有 metrics | 控制面承诺数据以 Kueue 为准 |
5. 配置实战:两者如何对接
对接方式一:Kueue 准入 + Volcano 调度 Pod
最常见的组合思路。Kueue 负责作业准入,准入后创建的 Pod 通过 schedulerName: volcano 交给 Volcano 做 gang 与放置。
# ① Kueue:LocalQueue / ClusterQueue(节选)
apiVersion: kueue.x-k8s.io/v1beta1
kind: LocalQueue
metadata:
name: team-a-queue
namespace: team-a
spec:
clusterQueue: cluster-queue
---
apiVersion: kueue.x-k8s.io/v1beta1
kind: ClusterQueue
metadata:
name: cluster-queue
spec:
namespaceSelector: {}
resourceGroups:
- coveredResources: ["nvidia.com/gpu", "cpu"]
flavors:
- name: default-flavor
resources:
- name: "nvidia.com/gpu"
nominalQuota: 16
---
# ② 训练作业:队列名 + volcano 调度器
apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
name: ddp-train
namespace: team-a
labels:
kueue.x-k8s.io/queue-name: team-a-queue # Kueue 准入入口
spec:
schedulerName: volcano # 交给 Volcano 调度
minAvailable: 8 # Volcano gang
tasks:
- name: worker
replicas: 8
template:
spec:
containers:
- name: train
image: pytorch/pytorch:2.1.0-cuda12.1
resources:
limits:
nvidia.com/gpu: 1
对接方式二:Kueue 原生 Gang + kube-scheduler(更轻的组合)
如果不想引入 Volcano,Kueue 自身的 all-or-nothing + TAS 已能覆盖不少训练场景:All-or-nothing with PodsReady 提供作业级 gang,TAS 提供拓扑聚拢放置。这是组件更少、更接近原生 K8s 的路线,适合 gang 要求不那么严格的团队。
对接方式三:通过 AdmissionCheck 联动扩容
Kueue 的 AdmissionCheck 可对接外部 provisioning 系统(如 Karpenter / Cluster Autoscaler):Workload 准入前先触发扩容检查,等资源真正就绪再放行,再交由 Volcano 调度。这形成「治理 → 扩容 → 调度」的完整链路。
6. 六套参考架构(含组合方案)
基于 Jimmy Song《AI 基础设施手册》的参考架构目录,从简单到复杂共 6 套。Kueue + Volcano 的组合对应其中的 E(训练增强)。
| 架构 | 组合 | 适用场景 | 复杂度 |
|---|---|---|---|
| A · 单队列整卡 | 整卡 + 原生调度 | 小团队先跑稳 | 低 |
| B · 多队列整卡 | 整卡 + Kueue | 多团队、要公平可预测 | 中 |
| C · MIG 池化 | MIG + Kueue | 在线推理、多租户、强隔离 | 中高 |
| D · HAMi 共享 | 共享 + Kueue | 碎片化请求、追求高利用率 | 高 |
| E · 训练增强 | Kueue + Volcano | 分布式训练、Gang、批处理语义强 | 中高 |
| F · 双池分治 | 在线/离线分治 + Kueue(训练侧可选 Volcano) | 生产平台,在线 SLO 严格 | 高 |
推荐演进路线:A → B(治理先行)→ C/D(细粒度)→ E/F(平台化)。不需要一次性上全套。
7. 拼装原则与演进路径
四条拼装原则
优先保证可用、可测、可回滚、可计量,再逐步扩展共享与复杂调度。别一上来就上全套。
整卡的失败多来自调度与容量;共享的失败多来自干扰、计量与隔离语义不一致。
尤其 MIG,重配置影响可用资源形态,必须纳入变更窗口、容量预留与调度策略。
明确数据平面(隔离/共享/设备暴露)、控制面(准入/配额/队列/公平)、平台层(体验/SLO/计量)各自的责任。
三阶段演进路径
8. 验收指标与可观测
组合架构的复杂度更高,必须把验收做实。建议三层指标:
| 层级 | 关键指标 | 主要数据来源 |
|---|---|---|
| 调度层 | 排队时间、调度成功率、Gang 成功率、抢占/回收事件、资源聚合耗时 | Kueue metrics + Volcano metrics |
| 性能层 | 关键 workload 吞吐/延迟(P50/P95/P99)、抖动上界、GPU 利用率 | DCGM Exporter + 业务埋点 |
| 运营层 | 用量归因、配额兑现率、超卖违约率、成本可解释性(真实 GPU-hours) | Kueue 承诺数据 + 数据平面计量 |
9. 风险、陷阱与边界
风险 1 · 策略重复:Kueue 与 Volcano 都有队列与抢占。若两层都做抢占,可能出现资源来回夺取的震荡。→ 明确单一事实源:配额/统计归 Kueue,调度/gang 归 Volcano。
风险 2 · 观测复杂:两个控制面组件,指标口径不一,排障链路变长。→ 建立统一视图,把 Kueue 的 admit 事件与 Volcano 的 bind 事件关联到同一作业 ID。
风险 3 · 资源口径不清:治理对象是「整卡」「MIG 切片」还是「共享份额」?口径不清,配额无法落地。→ 先定最小资源单位,再谈配额。
风险 4 · 版本集成不确定:两者对彼此的 Workload/Job 映射支持随版本变化。→ 落地前在测试集群验证 suspend ↔ gang 衔接,不要照搬示例。
10. 总结
组合架构的本质,是用「正交拼装」让资源治理与交付变得可控、可评审、可复现。Kueue 与 Volcano 的协同,不是简单堆组件,而是把边界写清、把验收做实:数据平面决定资源单位与隔离上限,控制面(Kueue + Volcano)决定秩序与策略,平台层决定交付体验。按「A → B → C/D → E/F」渐进演进,每一步都有清晰的验收与回滚路径,才能从「可控」走向「高效」而不累积技术债。
元信息
| 项 | 内容 |
|---|---|
| 目标读者 | 构建 AI/GPU 平台的架构师、平台工程师、SRE |
| 技术栈版本 | Kueue v1beta1/v1beta2;Volcano v1.9+/v1.10+;HAMi / MIG 数据平面 |
| 预计阅读时间 | 约 30 分钟 |
| 姊妹篇 | Kueue 深度指南 · Volcano 原理详解 · 对比篇 · AI GPU 调度方案 |
参考来源:Jimmy Song《AI 基础设施手册》(Kueue 章、组合架构章)、Kueue / Volcano 官方文档、ajeetraina《Kubernetes and GPU Complete Guide》。配置示例为理念骨架,落地请以版本文档与测试验证为准。