小胖鱼@Think· 调度器系列 博客首页
KUBERNETES · GPU PLATFORM · REFERENCE ARCHITECTURE

Kueue 与 Volcano 如何协同配合
正交组合架构

一个管「谁能进场、占多少」,一个管「怎么排座位」。本文讲清两者的分工边界、一次训练作业的协同生命周期、具体对接方式,以及如何按组织成熟度渐进演进到完整 GPU 平台。

🧩 正交组合 🔗 对接实战 🏗️ 6 套参考架构 ⏱️ 约 30 分钟

摘要:正交组合

Kueue 与 Volcano 的关系常被描述为「正交但可组合」:Kueue 决定谁能进场、能占多少、何时放行(准入、配额、承诺、统计),Volcano 决定怎么排座位、放在哪(作业级调度、Gang、抢占回收)。它们作用于作业生命周期的不同阶段,因此可以在同一集群中叠加,形成「先治理、再调度」的完整闭环。本文讲清两者的分工边界、协同工作流、具体对接方式,以及如何按组织成熟度渐进演进。

阅读前提:先读 对比篇 理解两者定位差异,读起来会更顺。本文聚焦「怎么一起用」。

1. 为什么能配合:职责不重叠

两者能配合的根本原因,是它们作用在同一个作业的不同阶段,而不是抢同一件事。

① 提交作业
Job / PyTorchJob
→
② Kueue 准入
排队 · 配额 · 放行
→
③ Volcano 调度
Gang · 放置 · 抢占
→
④ 数据平面
MIG / 共享 / 隔离
→
⑤ 运行 & 计量
利用率 · GPU-hours
核心洞察:Kueue 把「调度之前的治理」产品化,Volcano 把「批处理调度语义」做深。一个是门禁(谁能进、占多少),一个是座位调度(怎么排、放哪)。门禁与座位调度是两件事,因此可以叠加。

用 Jimmy Song 的话总结

Kueue · 治理框架

准入 + 配额 + 承诺 + 统计,是平台化的底座。解决多团队多租户下的稳定秩序与可预测体验。

Volcano · 调度引擎

训练/作业语义、Gang/Queue 策略,是训练类负载的加速器。补齐分布式作业的调度表达能力。

2. 组合架构:数据平面 + 控制面

把视角拉高到整个 GPU 平台,Kueue 与 Volcano 都位于「控制面」,而它们之下还有「数据平面」,之上还有「平台层」。理解这三层,才能看清两者在整体架构中的位置。

🟦 数据平面 · 决定资源单位与隔离边界
整卡(nvidia.com/gpu,隔离强、细粒度有限) · MIG(硬切分、强隔离、单位离散、重配置有成本) · 共享/虚拟化(以 HAMi 为代表,资源更细粒度、更弹性,隔离与干扰取决于实现)。
🟨 控制面 · 决定谁能用、何时用、用多少、是否公平
Kueue(治理/准入/配额/承诺/统计) · Volcano(批处理语义/作业调度策略)。两者正交组合:数据平面负责资源单位与隔离,控制面负责秩序与策略。
🟪 平台层 · 决定交付体验
统一门户、训练作业生命周期(模板/重试/产物)、SLO、计量与成本核算、按池/队列/项目归因。
经验法则:越追求「共享与弹性」,越需要更强的控制面治理与更严格的验收;越追求「强隔离与确定性」,越要面对资源单位离散、重配置成本与碎片化的现实。Kueue 与 Volcano 的组合,正是为了在「有秩序」的前提下追求「高效率」。

3. 协同工作流:一次训练作业的生命周期

看一个具体例子:某团队提交一个 8 卡 PyTorch 分布式训练作业,在 Kueue + Volcano 组合下会经历什么。

  1. 提交与挂起
    用户提交 PyTorchJob,指定 queue-name。Kueue Webhook 注入 suspend: true,生成 Workload 入 LocalQueue,作业被「冻住」。
  2. Kueue 配额准入
    Kueue 调度器按 ClusterQueue 的 nominalQuota / borrowingLimit 与 ResourceFlavor 判断是否有配额。有配额则标记 Workload 为 Admitted,占用配额。
  3. 解除挂起
    Kueue 将 suspend 置为 false,Job Controller 创建 Pod。此刻起,Kueue 的职责基本完成(进入「已承诺」状态)。
  4. Volcano Gang 调度
    这些 Pod 由 schedulerName: volcano 接管。Volcano 通过 PodGroup 判断 8 个 worker 是否都 Ready;不足则占坑预留,凑齐后统一绑定到节点。
  5. 放置优化
    Volcano 的 binpack / nodeorder / numaaware / 网络拓扑插件在 allocate 阶段优化放置,减少碎片与通信开销。
  6. 运行、抢占与归还
    高优先级作业可触发 Volcano 抢占;作业完成后 Kueue 释放配额归还 ClusterQueue,Workload 删除,闭环结束。
职责交界点:Kueue 的边界在「Pod 被创建并放行」,Volcano 从「Pod 的 Gang 判定与节点放置」接手。两者的交接靠 suspend 状态与 schedulerName 衔接——这也是组合配置的抓手。

4. 分工边界:谁管什么

职责KueueVolcano备注
作业排队✅ 主责✅ 也有队列⚠️ 潜在重叠点,需明确以谁为准
配额与承诺✅ 主责(精细)⚠️ 基础能力治理与对账交给 Kueue
Gang 调度⚠️ 作业级✅ 主责(调度级)严格 gang 交给 Volcano
Pod 节点放置❌ 不做✅ 主责Kueue 明确边界
抢占与回收✅ 配额层✅ 调度层⚠️ 两层都可能触发,需避免策略打架
异构资源建模✅ ResourceFlavor⚠️ 设备插件差异显式化交给 Kueue Flavor
训练作业语义⚠️ 集成映射✅ 主责VCJob / PodGroup 由 Volcano 管理
统计与对账✅ 主责⚠️ 有 metrics控制面承诺数据以 Kueue 为准
重叠是最大风险:两者都涉及「队列」「抢占」,如果配置不当会出现策略重复甚至互相打架。原则:配额准入与统计以 Kueue 为单一事实源,调度策略与 gang 以 Volcano 为准,避免同一目标被两套系统重复决策。

5. 配置实战:两者如何对接

对接方式一:Kueue 准入 + Volcano 调度 Pod

最常见的组合思路。Kueue 负责作业准入,准入后创建的 Pod 通过 schedulerName: volcano 交给 Volcano 做 gang 与放置。

# ① Kueue:LocalQueue / ClusterQueue(节选)
apiVersion: kueue.x-k8s.io/v1beta1
kind: LocalQueue
metadata:
  name: team-a-queue
  namespace: team-a
spec:
  clusterQueue: cluster-queue
---
apiVersion: kueue.x-k8s.io/v1beta1
kind: ClusterQueue
metadata:
  name: cluster-queue
spec:
  namespaceSelector: {}
  resourceGroups:
  - coveredResources: ["nvidia.com/gpu", "cpu"]
    flavors:
    - name: default-flavor
      resources:
      - name: "nvidia.com/gpu"
        nominalQuota: 16
---
# ② 训练作业:队列名 + volcano 调度器
apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  name: ddp-train
  namespace: team-a
  labels:
    kueue.x-k8s.io/queue-name: team-a-queue   # Kueue 准入入口
spec:
  schedulerName: volcano                      # 交给 Volcano 调度
  minAvailable: 8                             # Volcano gang
  tasks:
  - name: worker
    replicas: 8
    template:
      spec:
        containers:
        - name: train
          image: pytorch/pytorch:2.1.0-cuda12.1
          resources:
            limits:
              nvidia.com/gpu: 1
重要提醒:Kueue 与 Volcano 的「深度集成」能力随版本演进,不同版本对 VCJob/PodGroup 的 Workload 映射支持程度不同。上面展示的是「理念对接」的配置骨架——生产落地前,请务必核对两者当前版本对彼此的集成支持(Kueue 的 Job Integration 列表、Volcano Job 的 Workload 映射),并在测试集群验证 suspend 与 gang 的衔接行为。

对接方式二:Kueue 原生 Gang + kube-scheduler(更轻的组合)

如果不想引入 Volcano,Kueue 自身的 all-or-nothing + TAS 已能覆盖不少训练场景:All-or-nothing with PodsReady 提供作业级 gang,TAS 提供拓扑聚拢放置。这是组件更少、更接近原生 K8s 的路线,适合 gang 要求不那么严格的团队。

对接方式三:通过 AdmissionCheck 联动扩容

Kueue 的 AdmissionCheck 可对接外部 provisioning 系统(如 Karpenter / Cluster Autoscaler):Workload 准入前先触发扩容检查,等资源真正就绪再放行,再交由 Volcano 调度。这形成「治理 → 扩容 → 调度」的完整链路。

6. 六套参考架构(含组合方案)

基于 Jimmy Song《AI 基础设施手册》的参考架构目录,从简单到复杂共 6 套。Kueue + Volcano 的组合对应其中的 E(训练增强)。

架构组合适用场景复杂度
A · 单队列整卡整卡 + 原生调度小团队先跑稳低
B · 多队列整卡整卡 + Kueue多团队、要公平可预测中
C · MIG 池化MIG + Kueue在线推理、多租户、强隔离中高
D · HAMi 共享共享 + Kueue碎片化请求、追求高利用率高
E · 训练增强Kueue + Volcano分布式训练、Gang、批处理语义强中高
F · 双池分治在线/离线分治 + Kueue(训练侧可选 Volcano)生产平台,在线 SLO 严格高

推荐演进路线:A → B(治理先行)→ C/D(细粒度)→ E/F(平台化)。不需要一次性上全套。

7. 拼装原则与演进路径

四条拼装原则

A · 最小可用闭环优先

优先保证可用、可测、可回滚、可计量,再逐步扩展共享与复杂调度。别一上来就上全套。

B · 资源单位越细,验收越严格

整卡的失败多来自调度与容量;共享的失败多来自干扰、计量与隔离语义不一致。

C · 重配置是「变更」,必须流程化

尤其 MIG,重配置影响可用资源形态,必须纳入变更窗口、容量预留与调度策略。

D · 把平台责任写进架构

明确数据平面(隔离/共享/设备暴露)、控制面(准入/配额/队列/公平)、平台层(体验/SLO/计量)各自的责任。

三阶段演进路径

  • Phase 1 · 建立秩序(A → B)
    先用整卡跑稳,再引入 Kueue 做队列/配额/准入。目标:公平、可预测、可统计。验收:多团队配额与公平、等待时间可预测、资源使用可归因。
  • Phase 2 · 引入细粒度(B → C 或 B → D)
    优先隔离上 MIG(C),优先利用率上 HAMi(D),同步加强验收与观测。验收:C 侧重隔离强度/P95 抖动/碎片率;D 侧重干扰控制/计量归因/超卖违约率。
  • Phase 3 · 平台化分治(→ E / F)
    训练复杂就叠加 Volcano(E),在线/离线冲突强就做双池分治(F)。验收:E 侧重训练吞吐/Gang 成功率/公平性;F 侧重在线 SLO/离线吞吐/跨池效率。
  • 8. 验收指标与可观测

    组合架构的复杂度更高,必须把验收做实。建议三层指标:

    层级关键指标主要数据来源
    调度层排队时间、调度成功率、Gang 成功率、抢占/回收事件、资源聚合耗时Kueue metrics + Volcano metrics
    性能层关键 workload 吞吐/延迟(P50/P95/P99)、抖动上界、GPU 利用率DCGM Exporter + 业务埋点
    运营层用量归因、配额兑现率、超卖违约率、成本可解释性(真实 GPU-hours)Kueue 承诺数据 + 数据平面计量
    闭环关键:控制面(Kueue)说明「承诺了多少」,数据平面(驱动/隔离/计量)说明「实际用了多少」。两者对齐后,配额、成本核算、容量规划与体验改进才有可靠依据。只看一边,容易得出「看似公平、实际失序」的错误结论。

    9. 风险、陷阱与边界

    风险 1 · 策略重复:Kueue 与 Volcano 都有队列与抢占。若两层都做抢占,可能出现资源来回夺取的震荡。→ 明确单一事实源:配额/统计归 Kueue,调度/gang 归 Volcano。

    风险 2 · 观测复杂:两个控制面组件,指标口径不一,排障链路变长。→ 建立统一视图,把 Kueue 的 admit 事件与 Volcano 的 bind 事件关联到同一作业 ID。

    风险 3 · 资源口径不清:治理对象是「整卡」「MIG 切片」还是「共享份额」?口径不清,配额无法落地。→ 先定最小资源单位,再谈配额。

    风险 4 · 版本集成不确定:两者对彼此的 Workload/Job 映射支持随版本变化。→ 落地前在测试集群验证 suspend ↔ gang 衔接,不要照搬示例。

    边界提醒:Kueue 不提供隔离(隔离靠 MIG/vGPU/驱动栈),也不替代调度器;Volcano 的治理与对账能力不如 Kueue 产品化。组合是为了各取所长,而不是让一方去做它不擅长的事。

    10. 总结

    先治理
    Kueue 层
    再调度
    Volcano 层
    定边界
    避免重叠
    做验收
    三层指标

    组合架构的本质,是用「正交拼装」让资源治理与交付变得可控、可评审、可复现。Kueue 与 Volcano 的协同,不是简单堆组件,而是把边界写清、把验收做实:数据平面决定资源单位与隔离上限,控制面(Kueue + Volcano)决定秩序与策略,平台层决定交付体验。按「A → B → C/D → E/F」渐进演进,每一步都有清晰的验收与回滚路径,才能从「可控」走向「高效」而不累积技术债。

    元信息

    项内容
    目标读者构建 AI/GPU 平台的架构师、平台工程师、SRE
    技术栈版本Kueue v1beta1/v1beta2;Volcano v1.9+/v1.10+;HAMi / MIG 数据平面
    预计阅读时间约 30 分钟
    姊妹篇Kueue 深度指南 · Volcano 原理详解 · 对比篇 · AI GPU 调度方案

    参考来源:Jimmy Song《AI 基础设施手册》(Kueue 章、组合架构章)、Kueue / Volcano 官方文档、ajeetraina《Kubernetes and GPU Complete Guide》。配置示例为理念骨架,落地请以版本文档与测试验证为准。