小胖鱼@Think· 调度器系列 博客首页
KUBERNETES · BATCH SCHEDULING · COMPARISON

Kueue vs Volcano
批处理调度选型深度对比

一个是 K8s 原生的配额治理控制面,一个是 CNCF 的批处理调度引擎。本文从本质差异出发,逐项拆解两者的架构、Gang 语义、队列配额、抢占公平与生态,并给出可落地的选型决策树。

⚖️ 12 章 🔍 11 项能力对比 🌳 选型决策树 ⏱️ 约 25 分钟

摘要:一句话结论

Kueue 是「门禁与秩序」,Volcano 是「座位调度引擎」——前者是 Kubernetes 原生的作业排队与配额治理控制面(决定谁能进场、占多少、何时放行),后者是 CNCF 的批处理调度引擎(决定一组作业怎么排、放在哪)。两者并非严格互斥:Kueue 不替代调度器,Volcano 自带完整调度语义;它们可以正交组合,也可以二选一。本文从本质差异出发,逐项拆解能力、机制与生态,并给出可落地的选型决策树。

阅读前提:本文假设你已了解 Kueue 与 Volcano 的基本概念。若需补齐,建议先读 Kueue 深度指南 与 Volcano 调度器原理详解。组合使用的方式见姊妹篇 两者如何协同配合。

1. 本质差异:治理 vs 调度

把两者的定位一句话讲清:

◆ Kueue · 准入控制(Admission)

  • 定位:作业排队与配额治理的控制面
  • 核心动作:Job 提交后先 suspend,拿到配额才放行
  • 不引入新调度器,Pod 到节点的调度仍交给 kube-scheduler
  • 口号:先治理,再调度(谁先拿、拿多少)

▲ Volcano · 批处理调度(Scheduling)

  • 定位:作业级调度与策略执行的调度引擎
  • 核心动作:Session + Action + Plugin,一次调一批 Job
  • 自带调度器 volcano-scheduler,通过 schedulerName 接管
  • 口号:一站式批处理调度(怎么排、放哪)
关键区别:Kueue 停在「Pod 创建之前」的准入层,Pal 实际调度交给下游;Volcano 深入「Pod 放到哪个节点」的调度层。所以 Kueue 常被形容为「调度之前的治理产品化」,而 Volcano 是「把批处理语义搬进调度器」。

一次作业提交的流向对比

Kueue 路径
提交 Job
→
Workload 入队
→
配额准入
→
解除 suspend

之后由 kube-scheduler 做 Pod 放置。Kueue 的职责到此为止。

Volcano 路径
提交 VCJob
→
PodGroup
→
Action 流水线
→
绑定节点

Volcano 自己完成从 gang 判定到节点绑定的全流程。

2. 架构与工作原理对比

维度KueueVolcano
核心对象LocalQueue / ClusterQueue / Cohort / Workload / ResourceFlavor / AdmissionCheckJob(VCJob) / PodGroup / Queue / Action / Plugin
调度单元Workload(一个作业的资源申请单,可含多个 podSet)Job / Task(作业级,Queue→Job→Task→Node 四层)
决策模型准入控制:模拟调度后决定是否 admit周期驱动:Session 快照 + Action 流水线
扩展机制Webhook + Controller + 可插拔集成(JobSet/PyTorchJob/RayJob…)+ AdmissionCheckPlugin 注册扩展点(20+ Fn)+ Extender(HTTP) + 自定义 Plugin
是否替换调度器否,与 kube-scheduler 协同是(自带 volcano-scheduler),也可共存
归属Kubernetes SIG Scheduling 官方子项目CNCF 项目,首个官方容器批处理调度项目

3. 核心能力逐项对比

注:Kueue 的 Gang 语义通过 All-or-nothing with PodsReady 实现(准入层),与 Volcano 调度层 gang 的实现层级不同,详见第 4 节。
能力KueueVolcano说明
Gang Scheduling准入层 All-or-nothing调度层 PodGroup 原生两者都能避免部分调度,但实现层级与严格度不同
作业队列✅ LocalQueue / ClusterQueue✅ Queue(可分层)都有队列,语义与层级设计不同
配额管理✅ 精细(nominalQuota / borrowingLimit / lendingLimit)✅ weight / capability / guaranteeKueue 配额语义更细,云厂商集成路线一致
公平共享✅ Fair Sharing / Cohort 借用✅ DRF / Proportion算法不同:Kueue 权重分享,Volcano DRF 主导资源公平
抢占与回收✅ 三类开关(默认 Never)✅ preempt / reclaim 分离Volcano 把队列间回收做成独立 Action
拓扑感知✅ TAS(Topology-Aware Scheduling)✅ numaaware / task-topology / 网络拓扑Kueue TAS 基于 Topology CRD,聚拢放置
GPU / 异构✅ 通过 ResourceFlavor + 数据平面(HAMi/MIG)✅ deviceshare / MIG / vCUDA / 昇腾 NPUVolcano 自带更多设备调度插件;Kueue 依赖数据平面配合
Binpack / Backfill⚠️ 非核心✅ 原生插件 / ActionVolcano 在碎片优化上更完整
多集群✅ MultiKueue✅ volcano-global均为进阶特性
原生 K8s API 集成✅ 直接用 Job/JobSet/CronJob 等⚠️ 多用自定义 VCJob CRDKueue 对原生资源更友好
学习 / 接入成本较低(原生、增量接入)较高(自定义 API + 调度概念)团队门槛差异明显

4. Gang Scheduling 差异

这是两者最容易被混淆、也最关键的差异。核心问题都是「分布式训练要求所有 worker 同时启动」,但解决的层级不同。

Kueue:准入层 all-or-nothing

Kueue 把一个 Workload(含多个 podSet,如 driver + 8 个 worker)作为整体准入。通过 All-or-nothing with PodsReady 机制:如果作业在 podsReadyTimeout 内没能全部 Ready,就驱逐并重新入队(带指数退避)。它保证的是「配额与作业整体放行」,Pod 的具体放置仍由 kube-scheduler 完成。

Volcano:调度层 PodGroup

Volcano 在调度器内部用 PodGroup 的 minMember 判定作业是否 Ready;未 Ready 的作业通过 jobPipelineFn 占坑预留资源,凑齐后统一绑定。它把 gang 做到了「节点绑定」这一层,是严格的调度语义。

严谨表述:常见的对比表会写「Kueue 不支持 Gang Scheduling」,这在 2024 年前大致成立,但已过时。准确说法是:Kueue 通过准入了整体作业(all-or-nothing),提供「作业级 gang 语义」;Volcano 提供「调度级 gang 语义」。前者不保证所有 Pod 在同一时刻被 kube-scheduler 原子绑定,后者保证。追求严格 gang 时,Volcano 更强;重视原生集成与配额治理时,Kueue 更省心。

5. 队列与配额模型

◆ Kueue:两级队列 + Cohort

  • LocalQueue:团队/命名空间入口,用户提交的作业指向它
  • ClusterQueue:全局资源池与配额承诺,定义 nominalQuota、borrowingLimit、lendingLimit
  • Cohort:多个 ClusterQueue 组成,闲置配额可按权重互相借用
  • ResourceFlavor:把「A100 vs H100」「MIG profile」等资源差异显式化,配额按口味分别管理

▲ Volcano:Queue CRD(可分层)

  • Queue:租户抽象,可组成层级结构并支持资源继承
  • weight:按权重参与 proportion 分配
  • capability / guarantee:资源上限与保底份额
  • 借用与回收通过 reclaim / preempt Action 实现,按队列权重把借出的份额收回

谁来管异构资源? 这是两者的重要分野。当 H100 和 A10 混在同一池,「10 张 GPU 配额」对不同团队意义完全不同。Kueue 用 ResourceFlavor 把差异显式化,让配额与公平建立在正确维度上;Volcano 则更多通过设备插件与 nodegroup 亲和来区分。若集群异构严重,Kueue 的 Flavor 建模通常更清晰。

6. 抢占与公平

维度KueueVolcano
公平算法Fair Sharing:按 share 值(用量/份额)排序,抢占 share 最小者DRF(主导资源公平)/ Proportion(按权重)
抢占层级withinClusterQueue / reclaimWithinCohort / borrowWithinCohort 三个开关preempt(队列内)/ reclaim(跨队列)两个 Action
默认策略三个抢占开关默认 Never(保守)取决于配置,preempt/reclaim 按需启用
保护机制优先级 + WorkloadPriorityClassconformance 插件保护 kube-system 关键 Pod

Kueue 默认不抢占(三个开关都是 Never),强调「可预测、可审计」的秩序;Volcano 把抢占与回收做成调度流水线中的独立 Action,更强调「高价值任务一定拿得到资源」。前者偏治理审慎,后者偏调度激进。

7. 扩展机制与生态

Kueue:原生集成 + AdmissionCheck

基于 K8s 原生 API(Job/JobSet/CronJob),通过 Webhook + Controller 工作。新框架接入只需实现 Workload 映射。AdmissionCheck 可对接外部配额/provisioning 系统(如 Karpenter 扩容联动),生态与云厂商(AKS/GKE 托管 Kueue)路线一致。

Volcano:Plugin + Extender

Plugin 注册 20+ 扩展点回调;Extender 通过 HTTP 调用外部服务,钩子最全、可跨语言;可自定义 Plugin 编译进调度器。生态覆盖 Spark/TF/PyTorch/Flink/Ray/MindSpore/PaddlePaddle 等,AI 训练场景验证充分。

选型影响:若你的平台希望「尽量不引入自定义调度器、跟随 K8s 原生路线」,Kueue 的集成成本更低;若你需要「深度定制调度算法、覆盖多种计算框架」,Volcano 的扩展面更广。

8. 性能、规模与运维

Kueue

因为只在准入层做决策,不深入每个 Pod 的放置,控制面开销相对可控;但社区资料普遍评价其可扩展性为「中等」,超大规模集群需关注 Workload 数量与调度延迟。运维上更接近原生 K8s 组件,升级与云托管更顺滑。

Volcano

周期驱动 + 快照 + 多级回调,能承载大规模批处理,社区评价可扩展性「高」;但调度器本身的复杂度、插件配置与快照规模会直接影响性能,需要更专业的调优与值守。InfraCloud 2025 基准显示其在分布式训练场景可将 GPU 碎片降低约 40%。

注:性能数据来自公开基准,实际表现强依赖负载形态、配置与硬件,请以自家压测为准。

9. 选型决策树

  • 你的团队规模小、GPU 数量有限,只想「先跑稳」?
    都不必上,原生 kube-scheduler + namespace 即可;有了多团队公平诉求再引入 Kueue。→ 架构 A/B
  • 多团队/多租户,核心诉求是「配额、公平、可审计」?
    选 Kueue:它把「谁能用、用多少、何时用」产品化,原生集成、增量接入、云厂商一致。→ Kueue
  • 以分布式训练为主,必须严格 Gang、Backfill、队列优先级?
    选 Volcano:调度层 gang + 丰富调度策略,AI 训练场景验证充分。→ Volcano
  • 既要治理秩序,又要严格训练语义?
    两者组合:Kueue 管准入/配额/承诺,Volcano 管训练作业语义与调度策略。代价是两个控制面协同、策略可能重复。→ Kueue + Volcano
  • 在 AKS/GKE 等托管集群,希望少运维?
    优先 Kueue(有托管扩展);引入第三方调度器前先确认平台支持度。→ 托管 Kueue
  • 经验法则(来自 Jimmy Song《AI 基础设施手册》):Kueue 更像资源治理框架(准入 + 配额 + 承诺 + 统计),是平台化的底座;Volcano 更像批处理调度引擎(训练/作业语义),是训练类负载的加速器。按「缺治理」还是「缺调度语义」来判断,比纠结功能清单更有效。

    10. 迁移成本与常见误区

    迁移成本

    迁移到 Kueue

    低。作业仍用原生 Job/JobSet,加 queue-name 标签与 LocalQueue/ClusterQueue 即可,无需改 schedulerName。适合渐进式接入。

    迁移到 Volcano

    中高。可能需要把作业改造成 VCJob 或配置 PodGroup,设置 schedulerName=volcano,团队需理解 Action/Plugin/Queue 概念与调优。

    常见误区

    误区 1:「Kueue 不支持 Gang Scheduling」——已过时。Kueue 通过 all-or-nothing 提供作业级 gang 语义,只是层级与严格度不同(见第 4 节)。

    误区 2:「Kueue 替代 kube-scheduler」——错。Kueue 只做准入,Pod 放置仍由 kube-scheduler 负责。

    误区 3:「用了 Volcano 就不需要配额治理」——不一定。Volcano 有队列配额,但「承诺/统计/对账」等治理能力不如 Kueue 产品化,生产平台常两者叠加。

    误区 4:「两者只能二选一」——错。它们正交可组合,组合方式见 协同配合篇。

    11. 总结

    治理
    Kueue 关键词
    调度
    Volcano 关键词
    正交
    两者关系
    组合
    生产推荐

    一句话收束:缺「秩序与配额」选 Kueue,缺「批处理调度语义」选 Volcano,两者都缺就组合使用。判断的关键不是功能清单的长短,而是你的集群当前痛在「调度之前」还是「调度之中」。理解了这一点,就能在看各种集成方案、抢占策略和拓扑调度时抓住主线。

    元信息

    项内容
    目标读者正在为 AI/批处理集群做调度选型的平台工程师、架构师
    技术栈版本Kueue v1beta1/v1beta2;Volcano v1.9+/v1.10+
    预计阅读时间约 25 分钟
    姊妹篇Kueue 深度指南 · Volcano 原理详解 · 两者如何协同 · AI GPU 调度方案

    参考来源:Kueue / Volcano 官方文档、Jimmy Song《AI 基础设施手册》、InfraCloud《Batch Scheduling on Kubernetes》三方对比、hikube/cloud 技术博客。对比结论基于公开资料整理,落地请以自家压测与版本文档为准。