下面两张全景图与正文 8 阶段一一对应:横版以泳道呈现多组件如何并行决策与异步写回(可左右拖动); 纵版沿主干自上而下逐阶段展开。为避免与正文样式互相影响,两图在独立画框中渲染。
安装后内置 root(根队列)与 default(默认队列,weight=1),均不可删改。其余按业务自建。核心是三级配额模型:guarantee ≤ deserved/weight ≤ capability。
# scheduling.volcano.sh/v1beta1 apiVersion: scheduling.volcano.sh/v1beta1 kind: Queue metadata: {name: training} spec: deserved: # 软基准(capacity 插件用) cpu: "16"; nvidia.com/gpu: "8" guarantee: # 硬下限,独占预留 resource: {cpu: "8", nvidia.com/gpu: "2"} capability: # 硬上限,绝对封顶 cpu: "32"; nvidia.com/gpu: "16" weight: 1 # 比例权重(proportion 插件用) priority: 100 reclaimable: true state: Open
capacity(配 deserved)与 proportion(配 weight)二选一,不能同时用;只有 state=Open 才能接收任务。提交类型是作业 Job,层级在提交时就定义好。顶层 spec.queue 声明归属(不写则进 default)。
# batch.volcano.sh/v1alpha1 apiVersion: batch.volcano.sh/v1alpha1 kind: Job metadata: {name: pytorch-ddp} spec: queue: training # ← 归属队列(声明式) minAvailable: 4 # ← gang 门槛 → PodGroup.MinMember tasks: - name: worker replicas: 4 # ← 生成 4 个 Pod template: spec: schedulerName: volcano # ← 交给 volcano containers: [...]
spec.queue,改用注解:
metadata.annotations.scheduling.volcano.sh/queue-name: training + spec.schedulingPolicy.{queue,minAvailable}。机柜 / 电源等硬件信息先落到 Node 的 label / annotation,自定义插件才能在 NodeInfo.Node 上读到。
kubectl label node node-01 \ topology.kubernetes.io/rack=rack-A-01 kubectl annotate node node-01 \ hardware.example.com/power-capacity-watts=8000 kubectl annotate node node-01 \ hardware.example.com/power-feed=dual kubectl label node node-01 \ hardware.example.com/cooling-tier=high
定义 Action 执行顺序与插件分层(tier)。同一扩展点被多插件注册时,靠 tier 顺序组合结果。
actions: "enqueue, allocate, preempt, reclaim, backfill" tiers: - plugins: # 第一层:排序 / 准入 - {name: priority} - {name: gang} - {name: hwtopology} # 自定义硬件插件 - plugins: # 第二层:过滤 / 打分 - {name: drf} - {name: predicates} - {name: nodeorder} - {name: binpack}
enqueue,allocate,backfill;enqueue 与 preempt/reclaim 通常不同时启用(见阶段 4)。正确因果:提交 Job(声明 queue/replicas/minAvailable)→ controller 按 replicas 展开成 N 个 Pod,并建 PodGroup 绑成 gang 单元。不是"提交散装 Pod 再由调度器聚合"。
createJobPod 给每个 Pod 打上指向 PodGroup 与 Queue 的 annotation。这三层的关联在 Pod 创建那一刻就固定了。
volcano-scheduler 从不创建 workload。它的全部职责是给这些已存在的 Pending Pod 挑节点并绑定。
| 层级 | K8s 对象 | 谁创建 | 提交里如何指定 |
|---|---|---|---|
| 队列 Queue | Queue CRD | 管理员预建 | spec.queue: training(声明归属) |
| 作业 Job | VCJob + PodGroup | 用户提交 Job;controller 造 PodGroup | minAvailable: 4 → PodGroup.MinMember |
| 任务 Task | Pod | controller 按 replicas 展开 | replicas: 4 → 生成 4 个 Pod |
go wait.Until(pc.runOnce, pc.schedulePeriod, stopCh)
// defaultSchedulerPeriod = time.Second → --schedule-period=1s
wait.Until 在单个 goroutine 同步调用 runOnce:不会有两个 Session 并发。Session 内部也是串行执行各 Action,全程共用同一个 ssn。
计时从 runOnce 执行完之后才开始。真实周期 ≈ 本轮调度耗时 + 1s。调度慢了不追赶、不并发补跑,周期自然拉长。
生产部署通过 leader election 选主,多副本只有一个 active 实例在调度,避免重复分配。
Cache 的 informer、NodeWorkerThreads=20、JobUpdaterWorker=16 都并发,但它们只更新快照,不参与调度决策。
runOnce = openSession → 依次执行 Actions → closeSession。上一轮在 CloseSession 统一提交后,下一轮快照才看得到结果 —— 这是"一致性"的保证。拍一份集群快照整体赋值给 Session,大多是引用而非深拷贝;周期内不再刷新 —— 调度中新来的 Pod 这轮不考虑,等下个周期。
job.Tasks)里,从数据结构上说明"任务从属于作业"。kubeClient / vcClient / cache / recorder / DirtyJobs。插件接口三方法:Name()、OnSessionOpen(ssn)、OnSessionClose(ssn)。插件在 Open 时通过 AddXxxFn 把函数注册进 Session 内部的 30+ 个 Fn map,Action 执行时统一回调。
RegisterPluginBuilder 注册后编译进调度器。actions 字段执行,Volcano 自身不校验顺序合理性。默认只有 enqueue,allocate,backfill;enqueue 若判定 Job 达不到最小资源就不让它入队、不建 Pending Pod,则 preempt/reclaim 无可抢占对象 —— 这就是二者冲突的原因。过滤任务,状态 pending → inqueue。用 jobEnqueueableFn 检查队列配额与 gang 最小资源,不满足的 Job 不生成 Pending Pod。
输入 = allocate 后仍饥饿的 Job(JobStarving)。限定同队列内选低优先级 victim,Evict + Pipeline 放同一 Statement 事务,达到 JobPipelined 才整体 Commit。
与 preempt 同构,区别在于 victim 来自其他队列(按权重收回借出的份额),涉及租户边界,是更重的操作故后置。
用空闲资源、按「队列 → 作业 → 任务」层级做预选 + 优选,gang 满足才 Commit,否则整体 Discard —— 全程不驱逐任何 Pod。
跳过 pending / JobValid 不通过 / 被 unschedulable 抑制 / 队列不存在的 Job;organizeJobWorksheet 分 nominated(上轮抢占锁定)与 regular 两阶段;无资源请求的 task 直接跳过,留给 backfill。
QueueOrderFnJobOrderFnJobReady(minAvail)TaskOrderFn选队列 QueueOrderFn → 选作业 JobOrderFn → 选任务 TaskOrderFn → predicate 预选(resourcefit + predicates:亲和性/污点/端口) → nodeOrderFn 优选(prioritizeNodes:两梯度打分) → Allocate / Pipeline 落决策到 Statement
优选两梯度:① Idle 就够用的节点优先打分,有结果就不看第二梯度;② FutureIdle(Idle+Releasing−Pipelined)才够用的节点作为后备。
空闲够 → stmt.Allocate()(可绑定);只有 FutureIdle 够 → stmt.Pipeline()(占坑,等资源释放再绑)。
node.AddTask() 改 NodeInfo 记账:Idle.sub() / Used.Add();Pipeline 则加 Pipelined 使 FutureIdle 变小。仅内存记账,防本轮重复占用,Session 结束即丢弃;gang 不过则 Discard 反向回滚。K8s 的 Reserve 是独立 stage,Volcano 直接改字段更内聚。
一轮 allocate 处理多个 PodGroup(training 的 A、B,default 的 C…逐个),但每次决策的单位是一个组:组内逐个 Pod 选节点(执行单位)却不立即绑定,整组记入同一 Statement,整组 Commit / Discard。整体判定保 gang,逐 task 记账保执行粒度。
整组 Operation 一起提交 → 进入阶段 5 转为 BindTask。8 个 Pod 全部分配。
整组回滚,一个都不占 —— 这正是 Gang 死锁不再发生的机制。饥饿 Job 留给 preempt/reclaim。
pickUpPendingTasks() 多重过滤:if job.IsPending() continue / JobValid 不通过跳过 / if task.HasSchedulingResourceRequests() continue(只留无资源请求的 BestEffort)/ scheduling gate 跳过。它用的是前面 Action 更新后的剩余碎片资源。
Evict / Pipeline / Allocate。Commit() 逐条遍历:Allocate 转 BindTask 入队;Evict 走 cache.Evict()(改 Releasing 记账 + 起 goroutine)。
Session 内设的 Pod.Spec.NodeName 只是内存对象。Commit 只是把绑定请求入队 —— 真正的 API 调用在下一个阶段的后台 goroutine 里完成。
BATCH_BIND_NUM 默认 1)。processBindTask() 后台每 20ms 消费一次Pods(ns).Bind(&v1.Binding{...})与 kube-scheduler 做法一致:API Server 收到 Binding 后才把 nodeName 落到 Pod。Bind 失败会回滚 PreBind 并重新入队重调。
go sc.Evictor.Evict(p, reason)UpdateStatus:Pods().Delete(p.Name)改 cache 的 Releasing 只是内部记账(保证本轮决策一致);这次 Delete 才是让驱逐落到真实集群的动作。失败会 resyncTask 重新入队。
API Server 把 nodeName 写入 Pod → kubelet watch 到 nodeName → 拉取镜像、启动容器 → Pod Running。资源占用从此持久化,下一轮 Session 快照能从 Cache 看到它。
被驱逐的 victim Pod 被删 → ReplicaSet / vc-controller 发现副本不足 → 重建新 Pod → 新 Pod Pending → 下一轮 Session 重新调度,此时资源已被高优先级任务占用。Volcano 自己不重建 Pod。
queueOrderFn · jobOrderFn · taskOrderFn · nodeOrderFn · batchNodeOrderFn · namespaceOrderFn
predicateFn · jobValidFn · jobReadyFn · jobStarvingFn · jobEnqueueableFn · jobEnqueuedFn
preemptableFn(被 5 插件注册)· reclaimableFn · overusedFn · allocatableFn · reclaimFn
targetJobFn · reservedNodesFn · jobPipelineFn
RegisterPluginBuilder 后重编译。| 维度 | Kube-scheduler(线性流水线) | Volcano(多级决策回调) |
|---|---|---|
| 扩展点数量 | 约 12~13 个(PreEnqueue→QueueSort→…→Bind→PostBind) | 20+ 个 Fn |
| 调度对象 | 一次一个 Pod | 一次一整个 Job / 队列 |
| 对象层级 | 只围绕 Pod 一层 | Queue → Job → Task → Node 四层 |
| 对应关系 | Filter↔predicateFn · Score↔nodeOrderFn · Permit(gang)↔jobReadyFn · PostFilter↔preemptableFn · QueueingHint↔eventHandler | |
① 绑成一单:PodGroup + minAvailable:8,调度器眼里是一个整体。
② 先看全貌:拍资源快照,看清总共剩几张卡。
③ 凑不齐全撤回:内存试算,JobReady 通过才 Commit;不够 Discard 全撤回,一个不占。因在内存里,撤回不留痕迹。
一轮 allocate 会处理多个 PodGroup,但每次拿出来决策的单位是一个组:
• 决策判定 → 一个 PodGroup(JobReady)
• 节点选点 → 单个 Pod(predicate + nodeOrder)
• 结果提交 → 一个 PodGroup(同一 Statement 一起提交)
以「3 队列 / 6 作业」为背景,展示一次 Session 内部如何完成调度。上面 8 阶段讲「从提交到落地的生命周期」,这里两张图讲「单次调度内部怎么转」。