摘要:一句话结论
Kueue 是「门禁与秩序」,Volcano 是「座位调度引擎」——前者是 Kubernetes 原生的作业排队与配额治理控制面(决定谁能进场、占多少、何时放行),后者是 CNCF 的批处理调度引擎(决定一组作业怎么排、放在哪)。两者并非严格互斥:Kueue 不替代调度器,Volcano 自带完整调度语义;它们可以正交组合,也可以二选一。本文从本质差异出发,逐项拆解能力、机制与生态,并给出可落地的选型决策树。
1. 本质差异:治理 vs 调度
把两者的定位一句话讲清:
◆ Kueue · 准入控制(Admission)
- 定位:作业排队与配额治理的控制面
- 核心动作:Job 提交后先
suspend,拿到配额才放行 - 不引入新调度器,Pod 到节点的调度仍交给 kube-scheduler
- 口号:先治理,再调度(谁先拿、拿多少)
▲ Volcano · 批处理调度(Scheduling)
- 定位:作业级调度与策略执行的调度引擎
- 核心动作:Session + Action + Plugin,一次调一批 Job
- 自带调度器
volcano-scheduler,通过 schedulerName 接管 - 口号:一站式批处理调度(怎么排、放哪)
一次作业提交的流向对比
之后由 kube-scheduler 做 Pod 放置。Kueue 的职责到此为止。
Volcano 自己完成从 gang 判定到节点绑定的全流程。
2. 架构与工作原理对比
| 维度 | Kueue | Volcano |
|---|---|---|
| 核心对象 | LocalQueue / ClusterQueue / Cohort / Workload / ResourceFlavor / AdmissionCheck | Job(VCJob) / PodGroup / Queue / Action / Plugin |
| 调度单元 | Workload(一个作业的资源申请单,可含多个 podSet) | Job / Task(作业级,Queue→Job→Task→Node 四层) |
| 决策模型 | 准入控制:模拟调度后决定是否 admit | 周期驱动:Session 快照 + Action 流水线 |
| 扩展机制 | Webhook + Controller + 可插拔集成(JobSet/PyTorchJob/RayJob…)+ AdmissionCheck | Plugin 注册扩展点(20+ Fn)+ Extender(HTTP) + 自定义 Plugin |
| 是否替换调度器 | 否,与 kube-scheduler 协同 | 是(自带 volcano-scheduler),也可共存 |
| 归属 | Kubernetes SIG Scheduling 官方子项目 | CNCF 项目,首个官方容器批处理调度项目 |
3. 核心能力逐项对比
| 能力 | Kueue | Volcano | 说明 |
|---|---|---|---|
| Gang Scheduling | 准入层 All-or-nothing | 调度层 PodGroup 原生 | 两者都能避免部分调度,但实现层级与严格度不同 |
| 作业队列 | ✅ LocalQueue / ClusterQueue | ✅ Queue(可分层) | 都有队列,语义与层级设计不同 |
| 配额管理 | ✅ 精细(nominalQuota / borrowingLimit / lendingLimit) | ✅ weight / capability / guarantee | Kueue 配额语义更细,云厂商集成路线一致 |
| 公平共享 | ✅ Fair Sharing / Cohort 借用 | ✅ DRF / Proportion | 算法不同:Kueue 权重分享,Volcano DRF 主导资源公平 |
| 抢占与回收 | ✅ 三类开关(默认 Never) | ✅ preempt / reclaim 分离 | Volcano 把队列间回收做成独立 Action |
| 拓扑感知 | ✅ TAS(Topology-Aware Scheduling) | ✅ numaaware / task-topology / 网络拓扑 | Kueue TAS 基于 Topology CRD,聚拢放置 |
| GPU / 异构 | ✅ 通过 ResourceFlavor + 数据平面(HAMi/MIG) | ✅ deviceshare / MIG / vCUDA / 昇腾 NPU | Volcano 自带更多设备调度插件;Kueue 依赖数据平面配合 |
| Binpack / Backfill | ⚠️ 非核心 | ✅ 原生插件 / Action | Volcano 在碎片优化上更完整 |
| 多集群 | ✅ MultiKueue | ✅ volcano-global | 均为进阶特性 |
| 原生 K8s API 集成 | ✅ 直接用 Job/JobSet/CronJob 等 | ⚠️ 多用自定义 VCJob CRD | Kueue 对原生资源更友好 |
| 学习 / 接入成本 | 较低(原生、增量接入) | 较高(自定义 API + 调度概念) | 团队门槛差异明显 |
4. Gang Scheduling 差异
这是两者最容易被混淆、也最关键的差异。核心问题都是「分布式训练要求所有 worker 同时启动」,但解决的层级不同。
Kueue 把一个 Workload(含多个 podSet,如 driver + 8 个 worker)作为整体准入。通过 All-or-nothing with PodsReady 机制:如果作业在 podsReadyTimeout 内没能全部 Ready,就驱逐并重新入队(带指数退避)。它保证的是「配额与作业整体放行」,Pod 的具体放置仍由 kube-scheduler 完成。
Volcano 在调度器内部用 PodGroup 的 minMember 判定作业是否 Ready;未 Ready 的作业通过 jobPipelineFn 占坑预留资源,凑齐后统一绑定。它把 gang 做到了「节点绑定」这一层,是严格的调度语义。
5. 队列与配额模型
◆ Kueue:两级队列 + Cohort
- LocalQueue:团队/命名空间入口,用户提交的作业指向它
- ClusterQueue:全局资源池与配额承诺,定义 nominalQuota、borrowingLimit、lendingLimit
- Cohort:多个 ClusterQueue 组成,闲置配额可按权重互相借用
- ResourceFlavor:把「A100 vs H100」「MIG profile」等资源差异显式化,配额按口味分别管理
▲ Volcano:Queue CRD(可分层)
- Queue:租户抽象,可组成层级结构并支持资源继承
- weight:按权重参与 proportion 分配
- capability / guarantee:资源上限与保底份额
- 借用与回收通过 reclaim / preempt Action 实现,按队列权重把借出的份额收回
谁来管异构资源? 这是两者的重要分野。当 H100 和 A10 混在同一池,「10 张 GPU 配额」对不同团队意义完全不同。Kueue 用 ResourceFlavor 把差异显式化,让配额与公平建立在正确维度上;Volcano 则更多通过设备插件与 nodegroup 亲和来区分。若集群异构严重,Kueue 的 Flavor 建模通常更清晰。
6. 抢占与公平
| 维度 | Kueue | Volcano |
|---|---|---|
| 公平算法 | Fair Sharing:按 share 值(用量/份额)排序,抢占 share 最小者 | DRF(主导资源公平)/ Proportion(按权重) |
| 抢占层级 | withinClusterQueue / reclaimWithinCohort / borrowWithinCohort 三个开关 | preempt(队列内)/ reclaim(跨队列)两个 Action |
| 默认策略 | 三个抢占开关默认 Never(保守) | 取决于配置,preempt/reclaim 按需启用 |
| 保护机制 | 优先级 + WorkloadPriorityClass | conformance 插件保护 kube-system 关键 Pod |
Kueue 默认不抢占(三个开关都是 Never),强调「可预测、可审计」的秩序;Volcano 把抢占与回收做成调度流水线中的独立 Action,更强调「高价值任务一定拿得到资源」。前者偏治理审慎,后者偏调度激进。
7. 扩展机制与生态
基于 K8s 原生 API(Job/JobSet/CronJob),通过 Webhook + Controller 工作。新框架接入只需实现 Workload 映射。AdmissionCheck 可对接外部配额/provisioning 系统(如 Karpenter 扩容联动),生态与云厂商(AKS/GKE 托管 Kueue)路线一致。
Plugin 注册 20+ 扩展点回调;Extender 通过 HTTP 调用外部服务,钩子最全、可跨语言;可自定义 Plugin 编译进调度器。生态覆盖 Spark/TF/PyTorch/Flink/Ray/MindSpore/PaddlePaddle 等,AI 训练场景验证充分。
选型影响:若你的平台希望「尽量不引入自定义调度器、跟随 K8s 原生路线」,Kueue 的集成成本更低;若你需要「深度定制调度算法、覆盖多种计算框架」,Volcano 的扩展面更广。
8. 性能、规模与运维
因为只在准入层做决策,不深入每个 Pod 的放置,控制面开销相对可控;但社区资料普遍评价其可扩展性为「中等」,超大规模集群需关注 Workload 数量与调度延迟。运维上更接近原生 K8s 组件,升级与云托管更顺滑。
周期驱动 + 快照 + 多级回调,能承载大规模批处理,社区评价可扩展性「高」;但调度器本身的复杂度、插件配置与快照规模会直接影响性能,需要更专业的调优与值守。InfraCloud 2025 基准显示其在分布式训练场景可将 GPU 碎片降低约 40%。
注:性能数据来自公开基准,实际表现强依赖负载形态、配置与硬件,请以自家压测为准。
9. 选型决策树
10. 迁移成本与常见误区
迁移成本
低。作业仍用原生 Job/JobSet,加 queue-name 标签与 LocalQueue/ClusterQueue 即可,无需改 schedulerName。适合渐进式接入。
中高。可能需要把作业改造成 VCJob 或配置 PodGroup,设置 schedulerName=volcano,团队需理解 Action/Plugin/Queue 概念与调优。
常见误区
误区 1:「Kueue 不支持 Gang Scheduling」——已过时。Kueue 通过 all-or-nothing 提供作业级 gang 语义,只是层级与严格度不同(见第 4 节)。
误区 2:「Kueue 替代 kube-scheduler」——错。Kueue 只做准入,Pod 放置仍由 kube-scheduler 负责。
误区 3:「用了 Volcano 就不需要配额治理」——不一定。Volcano 有队列配额,但「承诺/统计/对账」等治理能力不如 Kueue 产品化,生产平台常两者叠加。
误区 4:「两者只能二选一」——错。它们正交可组合,组合方式见 协同配合篇。
11. 总结
一句话收束:缺「秩序与配额」选 Kueue,缺「批处理调度语义」选 Volcano,两者都缺就组合使用。判断的关键不是功能清单的长短,而是你的集群当前痛在「调度之前」还是「调度之中」。理解了这一点,就能在看各种集成方案、抢占策略和拓扑调度时抓住主线。
元信息
| 项 | 内容 |
|---|---|
| 目标读者 | 正在为 AI/批处理集群做调度选型的平台工程师、架构师 |
| 技术栈版本 | Kueue v1beta1/v1beta2;Volcano v1.9+/v1.10+ |
| 预计阅读时间 | 约 25 分钟 |
| 姊妹篇 | Kueue 深度指南 · Volcano 原理详解 · 两者如何协同 · AI GPU 调度方案 |
参考来源:Kueue / Volcano 官方文档、Jimmy Song《AI 基础设施手册》、InfraCloud《Batch Scheduling on Kubernetes》三方对比、hikube/cloud 技术博客。对比结论基于公开资料整理,落地请以自家压测与版本文档为准。