摘要:调度器到底做什么
kube-scheduler 只做一件事:为 spec.nodeName 为空的 Pod 选一个合适的节点,并把绑定写回控制面。它不管配额、不拉镜像、不启动容器、不做节点故障驱逐。理解了这条边界,再看 Scheduling Framework 的 13 个扩展点、三个队列、抢占与插件开发,就不会把它和 Kueue(准入治理)、Volcano(作业级调度)混为一谈。本文按「边界 → 全流程 → 队列 → 扩展点 → 算法 → 抢占 → 插件 → 排障」的顺序,把 kube-scheduler 从源码级拆开。
1. 职责边界:它不管什么
面试里最容易被追问的,不是「它会做什么」,而是「它不做什么」。把边界讲清,才显得真正理解调度器在控制面中的位置。
◆ kube-scheduler 负责
- 监听未绑定的 Pod(
spec.nodeName == "") - 按资源、亲和性、拓扑、污点等条件筛选可行节点
- 对可行节点打分排序,选出最优
- 把
Pod → Node的绑定写入 API Server(Binding 对象)
▲ 它不负责
- 配额与准入(Kueue / ResourceQuota 的事)
- 真正把容器跑起来(kubelet + CRI 的事)
- 节点故障后的 Pod 驱逐与重调度(node-controller / 上层控制器)
- NetworkPolicy、Service 路由、存储挂载
- 保证 gang 原子性(原生调度器逐个 Pod 独立决策)
FailedScheduling 事件,等待条件变化后重试。是否「必须整组一起上」是 Kueue/Volcano 在更上层或用 Permit 扩展点解决的问题。2. 一个 Pod 的调度之旅
从用户提交 Pod 到它在节点上跑起来,调度器参与的是中间一段。整个流程分成两个周期,理解这个划分是掌握扩展点顺序的钥匙。
为单个 Pod 选节点,串行执行(同一时刻只调度一个 Pod),确保决策基于一致的集群快照。包含:Predicates/Filter 过滤 → Priorities/Score 打分 → 选出最优节点 → Reserve 预留资源。
关键词:Snapshot、Framework、cycleState
把决策落到 API Server,不同 Pod 的绑定可并行。包含:Permit(可等待/拒绝)→ PreBind → Bind → PostBind。任一步失败触发 Unreserve 回滚。
关键词:WaitOnPermit、Binding、Unreserve
3. 调度队列与事件驱动
Pod 并不是来了就立刻调度。调度器维护三个内部队列,配合事件驱动机制决定「什么时候重新考虑一个 Pod」,这是 1.20 之后调度性能提升的关键。
| 队列 | 作用 | 进入条件 | 出队方式 |
|---|---|---|---|
| ActiveQ | 可立即尝试调度的 Pod | 新建、被事件唤醒、Backoff 到期 | 调度周期按序 Pop |
| BackoffQ | 刚失败、短期冷却的 Pod | 调度失败后按退避时间放入 | 退避计时结束 → ActiveQ |
| UnschedulableQ | 明确不可调度的 Pod | Filter 失败且无可行节点 | 仅靠相关事件/超时唤醒 → ActiveQ |
QueueingHint:让无关事件不再惊动整个队列
早期实现中,集群里任何节点事件都会把所有 Unschedulable Pod 重新入队,大规模集群下造成「惊群」。现在每个插件可为失败原因注册 QueueingHintFn:只有当发生的事件确实可能解决该 Pod 的失败原因时,才把它移回 ActiveQ。
Pod 因「节点 CPU 不足」失败,此时集群新增了一个标签事件——与本 Pod 无关,却触发全量重排队。
NodeResourcesFit 插件的 QueueingHint 判断:只有 Node 资源增加 / 新节点加入 才相关,标签事件被忽略。避免无谓调度尝试。
FailedScheduling 事件里会写明失败插件与原因(如 0/12 nodes are available: 12 Insufficient cpu)。配合 QueueingHint,Pod 的重试是「按需唤醒」而非「定时全扫」。4. Scheduling Framework 扩展点全景
Scheduling Framework 把调度器做成「插件化骨架」:一次调度会依次经过若干扩展点,插件在扩展点上注册钩子函数。下图是完整顺序(含失败回滚路径)。
Wait( gang 场景扣住 Pod)/ Allow / Reject。Unreserve 释放已预留资源。写自定义插件时,凡是 Reserve 里做的预留,都必须在 Unreserve 里对称清理——这是最常见的 bug 来源。5. 扩展点逐一精讲
面试不必背全 13 个点,但几个「高产」扩展点必须讲得清、举得出例子。
比较函数签名固定为 Less(p1, p2)。默认按 Priority 排序,可做「优先级相同则先来的先调度」。一个 profile 只能有一个。
最核心的过滤点。典型:NodeResourcesFit(资源够不够)、NodeAffinity、PodTopologySpread、TaintToleration、VolumeBinding、InterPodAffinity。
默认 NodeResourcesFit 的 LeastAllocated(装箱)或 MostAllocated(打散)。InterPodAffinity 把亲和 Pod 拉近。各插件分数 × 权重求和。
唯一能「等待」的扩展点。 gang 调度器常用它:凑齐一组 Pod 前全部 Wait,齐了一起 Allow(可用定时器超时 Reject 回滚)。
PreBind 可先创建 PVC、配置网络;Bind 由默认插件把 Pod 写到目标节点。自定义 Bind 可替换整个绑定逻辑(如远程调度)。
适合做「只算一次」的昂贵计算并放入 cycleState 供 Filter/Score 复用,例如统计 Pod anti-affinity 相关 Pod 集合。
6. 调度算法核心:过滤与打分
去掉插件外壳,调度算法本质是「先筛后评」两步,外加一个性能采样优化。
① 过滤(Feasible Nodes)
遍历候选节点,逐个跑 Filter 插件链。任何一个插件返回 Unschedulable,该节点即淘汰。过滤结果可用节点数量若为 0,进入 PostFilter(抢占)。
② 打分(Scoring)
对可行节点跑 Score 插件链,每个插件给出 0–100,乘以配置的权重后求和,取最高分节点。分数相同时按一定策略(如节点名)打破平局。
③ 百分比采样(percentageOfNodesToScore)
超大集群不必遍历所有节点打分。找到足够数量的可行节点后即可停止过滤,并对其中一部分评分,用少量精度换取调度延迟下降。默认值随集群规模动态调整,也可通过 --percentage-of-nodes-to-score 配置(最小值约 5%)。
7. 抢占机制深挖
当 Filter 后没有可行节点,PostFilter 扩展点尝试抢占:牺牲低优先级 Pod,为高优先级 Pod 腾出空间。这是最容易被深挖的主题。
priorityClassName,且 preemptionPolicy 非 Never。默认优先级 Pod 不抢占别人。nominatedNodeName,由 API Server 触发其删除;等资源释放后,被抢占 Pod 才真正绑定。◆ nominatedNodeName 是「预约」
- 它表示「这个 Pod 计划在某节点上跑,正等资源释放」
- 不是绑定——真正的绑定仍是 Binding 对象 +
spec.nodeName - 是尽力而为的提示,不保证最终一定落在该节点
▲ PDB 会压制抢占
- PodDisruptionBudget 保证应用的最小可用副本
- DefaultPreemption 会跳过违反 PDB 的节点/牺牲者
- 没有 PDB 时,低优先级副本可能被「一扫而空」
preemptionPolicy: Never,避免误伤;关键负载配置 PDB;抢占是「最后手段」,优先考虑扩容或配额调整。Kueue/Volcano 的抢占建立在自己更丰富的作业语义上,与这里的 Pod 级抢占不是一回事。8. 插件开发与配置实战
调度器通过 KubeSchedulerConfiguration 用 profile 组织插件:每个扩展点启哪些插件、权重多少都可配。开发一个自定义插件需实现扩展点接口并注册。
配置骨架(v1)
apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
- schedulerName: default-scheduler
plugins:
filter:
enabled:
- name: NodeResourcesFit
score:
enabled:
- name: NodeResourcesFit
weight: 3
- name: InterPodAffinity
weight: 1
disabled:
- name: SelectorSpread
pluginConfig:
- name: NodeResourcesFit
args:
scoringStrategy:
type: LeastAllocated
自定义插件最小骨架(Go)
type MyPlugin struct{ handle framework.Handle }
func New(_ runtime.Object, h framework.Handle) (framework.Plugin, error) {
return &MyPlugin{handle: h}, nil
}
func (p *MyPlugin) Name() string { return "MyPlugin" }
// 实现 Filter 扩展点:拒绝 label=forbidden 的节点
func (p *MyPlugin) Filter(ctx context.Context, state *framework.CycleState,
pod *v1.Pod, nodeInfo *framework.NodeInfo) *framework.Status {
if nodeInfo.Node().Labels["gpu"] == "forbidden" {
return framework.NewStatus(framework.Unschedulable, "forbidden gpu node")
}
return framework.NewStatus(framework.Success)
}
registry.Register(...) 注册工厂函数,并在配置里通过 name 启用。out-of-tree 插件可编译进自定义调度器镜像,用 --config 指定配置;schedulerName 决定哪些 Pod 由它调度。9. 可观测性与 Pending 排障
Pod 卡在 Pending 是最常见的现场问题。按以下顺序排查,基本不会漏。
kubectl describe pod <name> 找 FailedScheduling 事件,里面写明失败插件与原因(如 Insufficient cpu、node(s) had untolerated taint)。kubectl describe node 看 Allocatable 与已分配;确认 requests(不是 limits)是否还有空间——调度看的是 requests。spec.schedulerName 对应的调度器在运行;kubectl -n kube-system logs 加 --v=5 看决策细节。scheduler_pending_pods、scheduler_schedule_attempts、scheduler_scheduling_duration_seconds 定位排队与延迟问题。10. 大规模集群调优
| 手段 | 作用 | 注意点 |
|---|---|---|
| percentageOfNodesToScore | 限制参与打分的节点数,降低延迟 | 过小会牺牲放置质量;默认已自适应 |
| 多调度器分片(sharding) | 不同 schedulerName 各管一类 Pod | 需自行保证全局视角与公平 |
| QueueingHint 插件化 | 减少无关事件引发的重调度 | 自定义失败原因要注册对应 Hint |
| 合理设置 requests | 直接决定资源能否放下 | 过大浪费、过小导致超卖与抖动 |
| PDB + 优先级分层 | 让抢占可控、可预期 | 关键负载必须配 PDB |
11. 高频面试题
Q1:kube-scheduler 的完整调度流程?
A:监听 nodeName 为空的 Pod → 入 ActiveQ → 调度周期(PreFilter → Filter 过滤可行节点 → PostFilter 抢占兜底 → Score 打分选优 → Reserve 预留)→ 绑定周期(Permit → PreBind → Bind → PostBind),失败走 Unreserve 回滚,最后写 Binding 由 kubelet 接管。
Q2:ActiveQ / BackoffQ / UnschedulableQ 的区别?
A:ActiveQ 是立即待调度;BackoffQ 是失败后短期冷却、退避到期自动回 ActiveQ;UnschedulableQ 是明确不可调度,只能靠相关事件或 QueueingHint 唤醒,避免集群频繁事件造成惊群。
Q3:nominatedNodeName 是不是已经绑定了?
A:不是。它是抢占的「预约提示」,表示计划在该节点运行、正等牺牲者被驱逐释放资源;真正绑定仍是写 Binding/设置 spec.nodeName,且该提示不保证最终一定落在那里。
Q4:Permit 扩展点有什么用?
A:它是唯一能 Wait 的扩展点,位于调度周期与绑定周期之间。gang 调度可用它把一组 Pod 全部扣住,凑齐后一起 Allow 放行,超时则 Reject 并经 Unreserve 回滚——这是原生调度器实现 gang 的钩子,Kueue/Volcano 也借鉴了类似思想。
Q5:原生调度器和 Kueue、Volcano 的关系?
A:kube-scheduler 负责单个 Pod 的节点放置;Kueue 是它之前的准入/配额治理层(不替换调度器);Volcano 是自带调度器的作业级批处理引擎(可替换或共存)。三者层次不同,常组合使用,详见本站对比文章。
元信息
适用版本:Kubernetes v1.28+(Scheduling Framework 稳定)。关键词:Scheduling Framework、扩展点、调度队列、QueueingHint、抢占、nominatedNodeName、PDB、插件开发、Pending 排障。本文为「调度器系列」第 6 篇,聚焦 Kubernetes 原生调度器底座。