摘要
Volcano 是 CNCF 旗下首个、也是目前唯一的官方容器批处理调度项目。它把批处理领域的完整语义——作业(Job/PodGroup)、队列(Queue)、公平、抢占回收、拓扑感知——搬进了 Kubernetes 调度器。本文从「调度单元错配」这一根源出发,系统拆解 Volcano 的 Session + Action + Plugin 三层架构、调度全流程、插件扩展点体系,并补齐核心对象实战、关键策略配置、GPU/拓扑感知与生产排障,最后给出与 kube-scheduler 的深度对比和选型建议。
0. 为什么需要 Volcano:问题与对策
理解 Volcano,先要理解它为什么存在。根源只有一句话:调度单元的错配。原生 kube-scheduler 以「单个 Pod」为单元逐个调度,这对无状态 Web 服务没问题;但批处理 / AI 训练的语义是「一组 Pod 才是一个任务」。这个错配引出五个问题,下面把每个问题与 Volcano 的对策逐条对应。
MPI/PyTorch DDP 需 N 个 Pod 同时启动。K8s 逐个调度:先起的 Pod 占住资源并等待通信,剩下的 Pod 因资源不足 Pending——全体卡死,谁也不释放。
用 PodGroup 把一组 Pod 绑成整体,minAvailable 定义最小运行数。凑不齐就一个都不调,凑齐才一起调,从根上杜绝死锁。
K8s 没有「作业队列」概念,Pod 直接进调度队列裸竞争。重要任务可能被海量小任务挤掉,团队之间无公平性保障。
引入 Queue CRD(可分层),deserved/guarantee/capability 描述应得、保底、上限,按权重或显式配额分配,实现租户隔离与公平。
K8s 的抢占只按 Pod 优先级,没有「跨队列回收」:A 队列借用了 B 队列的空闲资源,当 B 自己要用时却拿不回来。
preempt 处理同队列内高优先级抢占;reclaim 按队列权重把「借出去」的应得份额收回来。两个独立 Action,各管一层。
默认 LeastAllocated 策略倾向把 Pod 打散,节点残留大量碎片,昂贵的 GPU 资源白白浪费。
binpack 把 Pod 往已用节点上紧凑堆放;backfill 用调度周期剩余碎片资源去塞 pending 的小任务,榨干每一份资源。
GPU/NPU 共享、NUMA 亲和、多机通信拓扑——AI 训练对「放在哪」极其敏感,默认调度器无能为力。
numaaware 考虑 CPU NUMA,deviceshare 支持 GPU 共享,task-topology / 网络拓扑感知降低跨节点通信开销。
三个层层递进的设计支柱
用 PodGroup 把一组 Pod 绑成「作业」,用 Queue 把租户映射成「队列」——让「组」和「队列」成为调度器看得见的一等公民,而不只是外部约定。
要做到「全有或全无」,必须先看到全局再一次性决策。所以 Volcano 不用事件驱动,而是每周期拉一份一致性快照,在 Session 内基于同一份「事实」做整体判断。
把决策时机切细(入队/分配/抢占/回收/回填),每个时机再挂可插拔算法。扩展点之所以多,正是因为时机被切得细——这是「为什么比 K8s 多」的真正答案。
调度流程:每一步的动机
- Cache · 准备与快照监听集群 → 缓存 Node / Pod / Job / Queue,拉取一致性快照。解决:分布式系统里信息难同步;用某一时刻的快照调度,保证同周期内所有决策基于同一份「事实」,不会互相打架。
- Action 1 · enqueue 入队按队列配额与规则过滤 Job,状态 pending → inqueue。解决:配额准入,拦住超额作业(对应问题②多租户公平)。
- Action 2 · allocate 分配队列→作业→任务层层排序,predicates 预选 + nodeorder/binpack 优选,选点绑定;凑不齐 minAvailable 则整个 Job 不调。解决:gang 全有或全无(①)、binpack 提升利用率(④)、numaaware 处理拓扑(⑤)。
- Action 3/4 · preempt / reclaimpreempt 同队列内高优先级抢占;reclaim 跨队列按权重回收借出的资源。解决:资源借还分两层(③),让高价值任务拿得到资源。
- Action 5 · backfill 回填用本周期剩余的碎片资源,调度 pending 的小任务 / BestEffort 作业。解决:见缝插针,把利用率榨到最高(④)。
- Apply · 提交收尾把本周期所有绑定/驱逐决策一次性应用到集群,关闭 Session。解决:原子性,避免「调了一半」的中间态,让调度效果可预期。
贯穿全流程的机制:每个 Action 具体怎么排序、怎么过滤、谁能抢谁,都由 Plugin 注册的扩展点回调决定——这就是 Action + Plugin 分层。
1. Volcano 是什么
Volcano 是 CNCF 旗下的、基于 Kubernetes 的高性能批处理调度引擎,也是 CNCF 首个且唯一的官方容器批处理调度项目。原生 kube-scheduler 以单个 Pod 为调度单元,难以满足 AI 训练、MPI、Spark/Flink、Ray 等场景中「一组 Pod 必须同时启动」的需求。Volcano 在 K8s 之上提供了作业级(Job/PodGroup)调度、多层级队列配额、Gang Scheduling、公平共享、抢占回收和异构设备(GPU/NPU)支持。
它的调度器 volcano-scheduler 采用高度可扩展的 Session + Action + Plugin 三层架构:每个调度周期开启一个 Session,按顺序执行多个 Action,而每个 Action 的具体算法由注册的 Plugin 提供。这种分层让调度策略完全可插拔。
定义「做什么」:enqueue / allocate / preempt / reclaim / backfill 等调度环节。
定义「怎么做」:通过向 Session 注册回调函数(扩展点)提供具体算法。
承载一个调度周期:基于集群快照做决策,周期结束统一提交,保证一致性。
能力全景
支持原生 K8s 工作负载;通过 VolcanoJob 完整支持 PyTorch/TensorFlow/Spark/Flink/Ray;在线微服务与离线批处理统一调度,提升集群利用率。
Gang、Binpack、DRF、Proportion/Capacity、NodeGroup、SLA、Task-topology、NUMA-aware,以及异构设备(GPU/NPU)调度。
多维资源配额(CPU/Memory/GPU);多层级队列与资源继承;队列间借用、回收、抢占;多租户隔离与优先级。
网络拓扑感知、在线离线混部(超卖/CPU burst)、多集群调度(volcano-global)、动态重调度(descheduler)、Dashboard 与指标。
2. 整体调度流程
Volcano 的调度决策不是事件驱动,而是周期驱动:每个周期开启一个 Session,从 Cache 拉取集群快照,遍历待调度 Job,依次执行各 Action,为 Job 找到合适节点并绑定,最后关闭 Session。
整体调度闭环:一次会话 = 一个调度周期
schedulerName=volcano
与 Task(Pod)
形成一致性快照
加载快照与插件
产出绑定/驱逐决策
提交变更 / 关闭
⟳ 周期性重复(默认约 1s 一次),非事件驱动——保证每周期决策整体一致。
一次会话内部:Action 流水线
| 顺序 | Action | 职责 | 对应痛点 |
|---|---|---|---|
| 1 | enqueue 入队 | 按配额/规则过滤,任务状态 pending → inqueue | 配额准入 |
| 2 | allocate 分配 | 预选 + 优选,为 Pod 选最合适的节点并绑定 | 核心分配 / gang / 利用率 / 拓扑 |
| 3 | preempt 抢占 | 同队列内,高优先级任务抢占低优先级任务资源 | 优先级保障 |
| 4 | reclaim 回收 | 跨队列按权重,回收超出应得份额的资源 | 资源借还 |
| 5 | backfill 回填 | 用碎片资源调度 pending 任务,提升利用率 | 碎片浪费 |
actions: enqueue, allocate, backfill(或含 preempt / reclaim);其中 enqueue 与 preempt、reclaim 通常不同时启用。高频调度场景下 Action 顺序直接影响结果,调整前务必压测。核心 allocate 展开:层层排序 → 选点 → 绑定
allocate 是最核心的 Action,采用「层层排序 → 预选 → 优选 → 绑定」的经典流程;Pipeline 占坑是 gang 实现原子性的关键——先预留、凑齐后再统一绑定。
3. 插件与扩展点体系
每个 Plugin 必须实现 Name()、OnSessionOpen(ssn)、OnSessionClose(ssn) 三个方法。真正的扩展逻辑发生在 OnSessionOpen:插件在此把算法函数注册到 Session 的各类扩展点(本质是若干 Fn map),Action 执行时再回调它们。
插件接口:三个方法
返回插件唯一名称,供 ConfigMap 配置引用。
每个调度周期开始时调用,在此把算法函数注册到 Session 的各个扩展点。
会话结束时清理中间状态、更新指标。
扩展点四大类(20+ 个 Fn)
jobOrderFn · queueOrderFn · taskOrderFn · nodeOrderFn · batchNodeOrderFn · bestNodeFn · namespaceOrderFn · clusterOrderFn
predicateFn · prePredicateFn · jobEnqueueableFn · jobValidFn · jobReadyFn · jobStarvingFn
preemptableFn · reclaimableFn · overusedFn · allocatableFn · victimTasksFn · reclaimFn
reservedNodesFn · targetJobFn · jobPipelineFn · jobEnqueuedFn · eventHandler
三种扩展方式:从易到难
在 ConfigMap 的 tiers 里增减/排序插件,零代码改行为。首选。
通过 HTTP 回调外部服务,钩子最全、可跨语言,无需重编译调度器。
实现 Plugin 接口 + RegisterPluginBuilder 注册,编译进自定义调度器。
jobOrderFn,需靠分层顺序决定最终排序。4. 扩展点 × 插件对应矩阵
官方内置约 15 个插件,每个只注册自己关心的扩展点。下表把常用内置插件(列)与四大类扩展点(行)交叉, 表示「该插件注册了这个回调」。
| 扩展点 \ 插件 | gang | priority | drf | proportion | binpack | nodeorder | extender |
|---|---|---|---|---|---|---|---|
| jobOrderFn | |||||||
| jobValidFn | |||||||
| jobReadyFn | |||||||
| jobStarvingFn | |||||||
| queueOrderFn | |||||||
| predicateFn | |||||||
| nodeOrderFn | |||||||
| preemptableFn | |||||||
| reclaimableFn |
常用插件职责速查
| 插件 | 作用 | 主要注册扩展点 |
|---|---|---|
gang | Gang 调度,minAvailable 全有或全无 | jobValidFn / jobReadyFn / jobOrderFn / preemptableFn / reclaimableFn |
priority | 按 PriorityClass 定义优先级 | jobOrderFn / taskOrderFn / preemptableFn / jobStarvingFn |
conformance | 保护 kube-system 关键 Pod 不被驱逐 | preemptableFn / reclaimableFn |
drf | 主导资源公平(Dominant Resource Fairness) | jobOrderFn / queueOrderFn / preemptableFn / reclaimFn |
proportion | 按权重分配队列资源份额 | queueOrderFn / overusedFn / allocatableFn / reclaimableFn |
capacity | 显式队列配额(与 proportion 二选一) | 准入与分配检查相关 |
binpack | 紧凑装箱,减少资源碎片 | nodeOrderFn |
numaaware | NUMA 感知绑定 | predicateFn / batchNodeOrderFn |
extender | 通过 HTTP 调用外部服务执行自定义逻辑 | predicateFn / batchNodeOrderFn / preemptableFn 等全套钩子 |
观察:① extender 覆盖最广,是外部扩展的万能钩子;② gang 专注作业状态与抢占相关钩子;③ 排序类钩子被多个插件重复注册,须靠 tier 顺序组合;④ capacity 与 proportion 互斥,通常二选一。
5. 与 K8s 官方调度器对比
Volcano 的扩展点数量(20+)明显多于 Kubernetes 官方调度框架(约 12~13 个)。但这并不是简单的「功能堆得多」,而是两种扩展模型的本质差异:官方调度器是线性流水线(Pipeline),一次只调一个 Pod,扩展点是主线上固定的阶段卡槽;Volcano 是多级决策回调(Hook),一次调一批 Job,扩展点是 Action 回调的各种决策函数。
◆ kube-scheduler · 线性流水线
一次只调一个 Pod;扩展点 = 主线上固定的「阶段卡槽」,约 12~13 个。
- QueueSort → PreFilter → Filter → PostFilter
- PreScore → Score → NormalizeScore
- Reserve → Permit → PreBind → Bind → PostBind
▲ Volcano · 多级决策回调
一次调一批 Job;扩展点 = Action 回调的「决策函数」,20+ 个 Fn(四大类)。
- jobOrderFn / queueOrderFn / taskOrderFn
- predicateFn / jobValidFn / jobReadyFn
- preemptableFn / victimTasksFn / reclaimableFn…
语义映射:很多钩子一一对应,只是 Volcano 拆得更细
| K8s 扩展点 | Volcano 对应钩子 | 差异 |
|---|---|---|
| QueueSort | jobOrderFn / queueOrderFn / taskOrderFn | 一个拆成对象三层 |
| Filter | predicateFn / prePredicateFn | 基本对应 |
| Score + NormalizeScore | nodeOrderFn / batchNodeOrderFn / bestNodeFn | 新增批量打分 |
| PostFilter(抢占) | preemptableFn / victimTasksFn / reclaimableFn / reclaimFn | 抢占与回收分离 |
| PreEnqueue | jobEnqueueableFn / jobValidFn / jobStarvingFn | 更细的作业状态 |
| Permit(gang) | jobReadyFn / jobPipelineFn | 原生 gang 支持 |
| Reserve | reservedNodesFn / targetJobFn | 资源预留 |
K8s 只围绕 Pod 一个层级;Volcano 要同时排 Queue→Job→Task→Node 四层,每层都要排序/判断,钩子自然翻倍。
K8s 是「阶段卡槽」,一个阶段一个接口;Volcano 是「决策回调」,同类能力拆成 Order/Valid/Ready/Starving 等更细的 Fn。
gang、DRF、配额、抢占回收、资源预留都是 Volcano 原生能力;K8s 多交给 out-of-tree 插件(如 Coscheduling / Kueue)。
6. 核心概念与 YAML 实战
三个核心对象
Volcano 自定义 CRD,描述一个批处理作业:多个 Task、每个 Task 的副本数、生命周期策略。是对原生 Job 语义的扩展。
gang 调度的载体,绑定一组 Pod,声明 minMember / minTaskMember。原生 Job/Deployment 也可通过标签关联 PodGroup。
租户/队列的抽象,可分层。通过 weight 或 capability / guarantee 描述资源份额,是公平与配额的基础。
实战一:一个 Gang 调度的 VCJob
apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
name: pytorch-ddp
spec:
minAvailable: 4 # 凑齐 4 个 Pod 才一起启动(gang)
schedulerName: volcano
queue: research-queue
plugins:
env: []
svc: []
tasks:
- name: worker
replicas: 4
template:
spec:
containers:
- name: pytorch
image: pytorch/pytorch:2.1.0-cuda12.1-cudnn8-runtime
command: ["python", "train.py"]
resources:
limits:
nvidia.com/gpu: 1
policies:
- event: PodEvicted
action: RestartJob
minAvailable: 4 是 gang 的关键:Volcano 会为这 4 个 Pod 预留资源,凑不齐就一个都不绑定,从根本上避免「3 个 GPU 占着空等第 4 个」的死锁。
实战二:队列配额
apiVersion: scheduling.volcano.sh/v1beta1
kind: Queue
metadata:
name: research-queue
spec:
weight: 2 # 按权重参与 proportion 分配
capability: # 资源上限
nvidia.com/gpu: "16"
cpu: "64"
guarantee: # 保底份额(可选)
nvidia.com/gpu: "4"
weight 用于 proportion 插件按权重分配;capability 是该队列能用的资源上限;guarantee 是保底份额。注意 proportion 与 capacity 插件二选一,前者按权重、后者按显式配额。
7. 关键调度策略配置
Volcano 的策略通过 ConfigMap 中的 tiers(插件分层)与 actions(动作顺序)组合。默认配置通常包含两个 tier。
# volcano-scheduler-configmap 片段
actions: "enqueue, allocate, backfill"
tiers:
- plugins:
- name: priority # 第一层:排序与抢占决策
- name: gang
- name: conformance
- name: drf
- name: proportion
- plugins:
- name: predicates # 第二层:节点选择与放置
- name: nodeorder
- name: binpack
分布式训练的基石。基于 PodGroup 的 minMember 判断作业是否 Ready;未 Ready 的作业通过 jobPipelineFn 占坑预留,凑齐后统一绑定。
通过 nodeOrderFn 给「已用较多」的节点打高分,把 Pod 往一起堆,减少节点碎片。对 GPU 这种离散昂贵资源尤其重要。
Dominant Resource Fairness,按作业「主导资源」(CPU/GPU/内存中的最大占比)排序,适合多维资源的公平分配。
preempt 在队列内按优先级抢占;reclaim 跨队列按份额把借出的资源收回。两个 Action 独立配置,配合 conformance 保护系统 Pod。
8. GPU 与拓扑感知
AI 训练对「放在哪」极其敏感。Volcano 在设备与拓扑层面提供了多项原生能力。
支持 GPU 共享与 MIG 模式,让多个任务共享一张卡,提升细粒度利用率。配合 vCUDA 可实现软件层 vGPU 切分与显存隔离。
考虑 CPU NUMA 拓扑,把 Pod 绑定到内存访问最优的 NUMA 节点,降低跨 NUMA 访存开销,提升多核处理器的计算性能。
针对通信密集型应用,按任务间通信关系优化放置,把通信密集的 Pod 就近调度,减少跨节点网络开销。
充分考虑节点间网络带宽特性,为分布式训练优化数据传输路径,显著降低通信开销、提升模型训练速度。
9. 生产实践:部署与排障
部署要点
- 安装:通过 Helm chart 或
kubectl apply -f volcano-development.yaml安装,会部署 volcano-scheduler、controllers、webhooks 与 CRD。 - 确认调度器:作业需显式设置
schedulerName: volcano,否则仍由默认 kube-scheduler 处理,gang/队列能力不生效。 - 配置队列:先建 Queue 并规划权重/配额,再让作业
spec.queue指向它;多租户场景优先 proportion 或 capacity。 - 调优 ConfigMap:根据负载在 tiers 中增减插件、调整 actions 顺序;改完重启 volcano-scheduler。
- 可观测:接入 volcano metrics 与 Dashboard,关注作业 Pending 时长、gang 成功率、队列份额、抢占/回收事件。
排障清单
| 现象 | 排查方向 |
|---|---|
| 作业一直 Pending,Pod 起不来 | 是否设置 schedulerName=volcano;PodGroup 是否创建;minMember 是否大于集群可满足的资源;队列是否有配额。 |
| gang 作业卡在部分调度 | 检查 gang 插件是否启用;jobReadyFn 判定条件;是否有足够节点满足整组资源;考虑 Binpack 减少碎片。 |
| 队列资源被挤占 | 检查 proportion/capability 配置;是否被其他队列借用;reclaim 是否启用;conformance 是否保护了系统 Pod。 |
| 优先级不生效 | PriorityClass 是否正确;priority 插件是否在 tier 中;jobOrderFn 是否被其他插件覆盖(tier 顺序)。 |
| 调度器频繁重启 / 性能下降 | 检查调度周期与快照规模;扩展点回调是否有耗时逻辑(尤其 extender HTTP);减少不必要的插件。 |
10. 生态、版本与选型
生态集成
Volcano 已成为批处理场景的事实标准,被主流 AI/大数据框架广泛适配:Spark、TensorFlow、PyTorch、Flink、Argo、Ray、MindSpore、PaddlePaddle、OpenMPI、Horovod、Kubeflow 等。相关子项目包括 volcano-global(多集群)、descheduler(重调度)、dashboard(可视化)。
与同类方案的关系
| 方案 | 定位 | 与 Volcano 关系 |
|---|---|---|
| kube-scheduler | K8s 原生调度器,Pod 级流水线 | Volcano 补充其批处理语义,可共存(不同 schedulerName) |
| Kueue | K8s 原生作业队列与配额(准入控制) | 正交:Kueue 管治理/准入,Volcano 管批处理调度,可组合 |
| Apache YuniKorn | 替换型通用调度器,层级队列 + DRF | 竞争关系,均面向批处理,侧重不同 |
如果你正在纠结 Kueue 与 Volcano 如何取舍或组合,参见本站姊妹篇:Kueue vs Volcano 深度对比 与 两者如何协同配合。
11. 总结与面试题
核心要点回顾
- 存在根源是调度单元错配:K8s 以 Pod 为单位逐个调度,批处理需要以「作业 + 队列」为单位整体调度。五大痛点(死锁/无配额/难回收/碎片/拓扑)由此而来。
- 周期驱动而非事件驱动:每个 Session 基于快照做决策并统一提交,保证一致性与大规模批处理能力——这是实现 Gang 整体调度的前提。
- Action + Plugin 两层可插拔:Action 定义调度环节,Plugin 通过注册扩展点回调提供算法,策略可按 ConfigMap 灵活组合。
- allocate 是核心:队列→作业→任务层层排序,再经 predicates 预选、nodeorder/binpack 优选,最后绑定或 pipeline 占坑。
- 扩展点四大类:排序、过滤准入、抢占回收、状态预留,共 20+ 个 Fn;同一 Fn 可被多插件注册,靠 tier 顺序组合。
- 三种扩展方式:配置内置插件(零代码)、extender(HTTP 跨语言)、自定义 Plugin(编译进调度器)。
- 对比 K8s:官方是单 Pod 线性流水线(~13 扩展点),Volcano 是作业级多级回调(20+),多出的复杂度服务于 Gang、配额、抢占回收。
高频面试题
因为 gang「全有或全无」必须先看到全局再一次性决策。周期驱动 + 一致性快照让同周期内所有决策基于同一份「事实」,避免事件驱动下的中间态与互相打架。
基于 PodGroup 的 minMember 判定作业是否 Ready;未 Ready 时用 jobPipelineFn 占坑预留资源,凑齐后统一绑定。核心插件是 gang,涉及 jobValid/Ready/Starving 等钩子。
preempt 是同队列内按优先级抢占;reclaim 是跨队列按权重把借出的应得份额收回。两个独立 Action,分别对应队列内公平与队列间借还。
不是功能堆得多,而是模型不同:K8s 是单 Pod 线性流水线(阶段卡槽),Volcano 要排 Queue→Job→Task→Node 四层,且把同类能力拆成 Order/Valid/Ready/Starving 等更细的回调。
元信息
| 项 | 内容 |
|---|---|
| 目标读者 | 中高级 Kubernetes 平台工程师、AI 基础设施工程师 |
| 前置知识 | K8s Job / CRD / 调度框架、GPU 调度基础、批处理系统概念 |
| 技术栈版本 | Volcano v1.9+ / v1.10+;Part 子项目(volcano-global / descheduler)成熟度不一 |
| 预计阅读时间 | 约 35 分钟 |
参考来源:Volcano 官方文档(Introduction / Scheduler / Plugin System / How to configure)、K8s Scheduling Framework 文档、Jimmy Song《AI 基础设施手册》。部分结构图依据官方文档整理。