小胖鱼@Think· 调度器系列 博客首页
KUBERNETES · SCHEDULING FRAMEWORK · CORE

kube-scheduler 调度框架解剖
扩展点、队列与抢占

调度器到底做什么、不做什么?本文从职责边界出发,把一次调度拆成调度周期与绑定周期,逐层讲透三个调度队列、13 个扩展点、过滤打分算法、抢占与 nominatedNodeName 真相,并给出插件开发骨架与生产排障清单。

📘 11 章正文 🧩 13 扩展点 🎯 K8s v1.28+ ⏱️ 约 35 分钟

摘要:调度器到底做什么

kube-scheduler 只做一件事:为 spec.nodeName 为空的 Pod 选一个合适的节点,并把绑定写回控制面。它不管配额、不拉镜像、不启动容器、不做节点故障驱逐。理解了这条边界,再看 Scheduling Framework 的 13 个扩展点、三个队列、抢占与插件开发,就不会把它和 Kueue(准入治理)、Volcano(作业级调度)混为一谈。本文按「边界 → 全流程 → 队列 → 扩展点 → 算法 → 抢占 → 插件 → 排障」的顺序,把 kube-scheduler 从源码级拆开。

阅读前提:本文聚焦 Kubernetes 原生调度器。若你想先看作业级队列与配额,可读 Kueue 深度指南 与 Volcano 原理详解;两者的对比见 Kueue vs Volcano,本篇是理解它们「Pod 放置」这一层的底座。

1. 职责边界:它不管什么

面试里最容易被追问的,不是「它会做什么」,而是「它不做什么」。把边界讲清,才显得真正理解调度器在控制面中的位置。

◆ kube-scheduler 负责

  • 监听未绑定的 Pod(spec.nodeName == "")
  • 按资源、亲和性、拓扑、污点等条件筛选可行节点
  • 对可行节点打分排序,选出最优
  • 把 Pod → Node 的绑定写入 API Server(Binding 对象)

▲ 它不负责

  • 配额与准入(Kueue / ResourceQuota 的事)
  • 真正把容器跑起来(kubelet + CRI 的事)
  • 节点故障后的 Pod 驱逐与重调度(node-controller / 上层控制器)
  • NetworkPolicy、Service 路由、存储挂载
  • 保证 gang 原子性(原生调度器逐个 Pod 独立决策)
经典误区:「调度器保证 Pod 一定被调度成功」是错的。它只做「尽力而为的放置」——没有可行节点时 Pod 保持 Pending 并发出 FailedScheduling 事件,等待条件变化后重试。是否「必须整组一起上」是 Kueue/Volcano 在更上层或用 Permit 扩展点解决的问题。

2. 一个 Pod 的调度之旅

从用户提交 Pod 到它在节点上跑起来,调度器参与的是中间一段。整个流程分成两个周期,理解这个划分是掌握扩展点顺序的钥匙。

提交 Pod
nodeName 为空
→
入调度队列
ActiveQ
→
调度周期
选节点(串行)
→
绑定周期
写 Binding(可并行)
→
kubelet
拉镜像、起容器
① 调度周期 Scheduling Cycle

为单个 Pod 选节点,串行执行(同一时刻只调度一个 Pod),确保决策基于一致的集群快照。包含:Predicates/Filter 过滤 → Priorities/Score 打分 → 选出最优节点 → Reserve 预留资源。

关键词:Snapshot、Framework、cycleState

② 绑定周期 Binding Cycle

把决策落到 API Server,不同 Pod 的绑定可并行。包含:Permit(可等待/拒绝)→ PreBind → Bind → PostBind。任一步失败触发 Unreserve 回滚。

关键词:WaitOnPermit、Binding、Unreserve

为什么拆成两个周期?选节点需要全局一致快照所以必须串行;而写绑定是独立的 I/O,可以并行以提升吞吐。Permit 扩展点正是卡在两个周期之间——它让 gang 调度有机会「扣住」已选好节点的 Pod,等整组齐了再一起放行(Volcano 的思路之一)。

3. 调度队列与事件驱动

Pod 并不是来了就立刻调度。调度器维护三个内部队列,配合事件驱动机制决定「什么时候重新考虑一个 Pod」,这是 1.20 之后调度性能提升的关键。

队列作用进入条件出队方式
ActiveQ可立即尝试调度的 Pod新建、被事件唤醒、Backoff 到期调度周期按序 Pop
BackoffQ刚失败、短期冷却的 Pod调度失败后按退避时间放入退避计时结束 → ActiveQ
UnschedulableQ明确不可调度的 PodFilter 失败且无可行节点仅靠相关事件/超时唤醒 → ActiveQ

QueueingHint:让无关事件不再惊动整个队列

早期实现中,集群里任何节点事件都会把所有 Unschedulable Pod 重新入队,大规模集群下造成「惊群」。现在每个插件可为失败原因注册 QueueingHintFn:只有当发生的事件确实可能解决该 Pod 的失败原因时,才把它移回 ActiveQ。

问题

Pod 因「节点 CPU 不足」失败,此时集群新增了一个标签事件——与本 Pod 无关,却触发全量重排队。

→
对策

NodeResourcesFit 插件的 QueueingHint 判断:只有 Node 资源增加 / 新节点加入 才相关,标签事件被忽略。避免无谓调度尝试。

调度失败的三层状态:FailedScheduling 事件里会写明失败插件与原因(如 0/12 nodes are available: 12 Insufficient cpu)。配合 QueueingHint,Pod 的重试是「按需唤醒」而非「定时全扫」。

4. Scheduling Framework 扩展点全景

Scheduling Framework 把调度器做成「插件化骨架」:一次调度会依次经过若干扩展点,插件在扩展点上注册钩子函数。下图是完整顺序(含失败回滚路径)。

  • QueueSort
    决定调度队列中 Pod 的排序(如优先级高的先调度)。全局只能启用一个。
  • PreEnqueue
    Pod 进入 ActiveQ 前的准入检查,可暂缓不满足条件的 Pod(如 Kueue 式的门控思路)。
  • PreFilter
    调度前置处理与扩展点数据共享(cycleState),可提前判定 Pod 是否根本无法调度。
  • Filter
    过滤阶段:逐个节点判断可行性,任一插件否决即淘汰该节点(等价旧版 Predicate)。
  • PostFilter
    当没有任何可行节点时触发——抢占就在这里发生(默认 DefaultPreemption)。
  • PreScore / Score / NormalizeScore
    打分阶段:对可行节点打分(0–100),NormalizeScore 做归一化,最终加权求和。
  • Reserve
    通知插件「该 Pod 已选中此节点」,插件可预留资源(如 PVC、端口)。失败则走 Unreserve。
  • Permit
    绑定前的最后审批,可 Wait( gang 场景扣住 Pod)/ Allow / Reject。
  • PreBind → Bind → PostBind
    绑定前准备 → 真正写 Binding 对象 → 绑定后清理通知。绑定周期可并行。
  • 回滚钩子 Unreserve:Reserve 之后任一环节失败(Permit 拒绝、Bind 失败等),都会调用各插件的 Unreserve 释放已预留资源。写自定义插件时,凡是 Reserve 里做的预留,都必须在 Unreserve 里对称清理——这是最常见的 bug 来源。

    5. 扩展点逐一精讲

    面试不必背全 13 个点,但几个「高产」扩展点必须讲得清、举得出例子。

    QueueSort

    比较函数签名固定为 Less(p1, p2)。默认按 Priority 排序,可做「优先级相同则先来的先调度」。一个 profile 只能有一个。

    Filter

    最核心的过滤点。典型:NodeResourcesFit(资源够不够)、NodeAffinity、PodTopologySpread、TaintToleration、VolumeBinding、InterPodAffinity。

    Score

    默认 NodeResourcesFit 的 LeastAllocated(装箱)或 MostAllocated(打散)。InterPodAffinity 把亲和 Pod 拉近。各插件分数 × 权重求和。

    Permit

    唯一能「等待」的扩展点。 gang 调度器常用它:凑齐一组 Pod 前全部 Wait,齐了一起 Allow(可用定时器超时 Reject 回滚)。

    PreBind / Bind

    PreBind 可先创建 PVC、配置网络;Bind 由默认插件把 Pod 写到目标节点。自定义 Bind 可替换整个绑定逻辑(如远程调度)。

    PreFilter

    适合做「只算一次」的昂贵计算并放入 cycleState 供 Filter/Score 复用,例如统计 Pod anti-affinity 相关 Pod 集合。

    6. 调度算法核心:过滤与打分

    去掉插件外壳,调度算法本质是「先筛后评」两步,外加一个性能采样优化。

    ① 过滤(Feasible Nodes)

    遍历候选节点,逐个跑 Filter 插件链。任何一个插件返回 Unschedulable,该节点即淘汰。过滤结果可用节点数量若为 0,进入 PostFilter(抢占)。

    ② 打分(Scoring)

    对可行节点跑 Score 插件链,每个插件给出 0–100,乘以配置的权重后求和,取最高分节点。分数相同时按一定策略(如节点名)打破平局。

    Filter
    硬性条件 · 一票否决
    Score
    软性偏好 · 加权求和
    Permit
    最终审批 · 可等待

    ③ 百分比采样(percentageOfNodesToScore)

    超大集群不必遍历所有节点打分。找到足够数量的可行节点后即可停止过滤,并对其中一部分评分,用少量精度换取调度延迟下降。默认值随集群规模动态调整,也可通过 --percentage-of-nodes-to-score 配置(最小值约 5%)。

    面试一句话:「过滤解决能不能放,打分解决放哪里最好,采样解决节点多时别太慢。」

    7. 抢占机制深挖

    当 Filter 后没有可行节点,PostFilter 扩展点尝试抢占:牺牲低优先级 Pod,为高优先级 Pod 腾出空间。这是最容易被深挖的主题。

  • 触发前提
    Pod 有较高 priorityClassName,且 preemptionPolicy 非 Never。默认优先级 Pod 不抢占别人。
  • 找牺牲者
    在每个节点上模拟移除若干低优先级 Pod,直到待调度 Pod 可放置;候选牺牲者按优先级、资源匹配度排序。
  • 选最优节点
    综合牺牲者数量/优先级、PDB 约束等,选出抢占收益最大的节点。
  • 执行驱逐
    设置牺牲者 Pod 的 nominatedNodeName,由 API Server 触发其删除;等资源释放后,被抢占 Pod 才真正绑定。
  • ◆ nominatedNodeName 是「预约」

    • 它表示「这个 Pod 计划在某节点上跑,正等资源释放」
    • 不是绑定——真正的绑定仍是 Binding 对象 + spec.nodeName
    • 是尽力而为的提示,不保证最终一定落在该节点

    ▲ PDB 会压制抢占

    • PodDisruptionBudget 保证应用的最小可用副本
    • DefaultPreemption 会跳过违反 PDB 的节点/牺牲者
    • 没有 PDB 时,低优先级副本可能被「一扫而空」
    生产建议:默认优先级的 Pod 应显式设 preemptionPolicy: Never,避免误伤;关键负载配置 PDB;抢占是「最后手段」,优先考虑扩容或配额调整。Kueue/Volcano 的抢占建立在自己更丰富的作业语义上,与这里的 Pod 级抢占不是一回事。

    8. 插件开发与配置实战

    调度器通过 KubeSchedulerConfiguration 用 profile 组织插件:每个扩展点启哪些插件、权重多少都可配。开发一个自定义插件需实现扩展点接口并注册。

    配置骨架(v1)

    apiVersion: kubescheduler.config.k8s.io/v1
    kind: KubeSchedulerConfiguration
    profiles:
      - schedulerName: default-scheduler
        plugins:
          filter:
            enabled:
              - name: NodeResourcesFit
          score:
            enabled:
              - name: NodeResourcesFit
                weight: 3
              - name: InterPodAffinity
                weight: 1
            disabled:
              - name: SelectorSpread
        pluginConfig:
          - name: NodeResourcesFit
            args:
              scoringStrategy:
                type: LeastAllocated
    

    自定义插件最小骨架(Go)

    type MyPlugin struct{ handle framework.Handle }
    
    func New(_ runtime.Object, h framework.Handle) (framework.Plugin, error) {
        return &MyPlugin{handle: h}, nil
    }
    func (p *MyPlugin) Name() string { return "MyPlugin" }
    
    // 实现 Filter 扩展点:拒绝 label=forbidden 的节点
    func (p *MyPlugin) Filter(ctx context.Context, state *framework.CycleState,
        pod *v1.Pod, nodeInfo *framework.NodeInfo) *framework.Status {
        if nodeInfo.Node().Labels["gpu"] == "forbidden" {
            return framework.NewStatus(framework.Unschedulable, "forbidden gpu node")
        }
        return framework.NewStatus(framework.Success)
    }
    
    注册要点:插件要用 registry.Register(...) 注册工厂函数,并在配置里通过 name 启用。out-of-tree 插件可编译进自定义调度器镜像,用 --config 指定配置;schedulerName 决定哪些 Pod 由它调度。

    9. 可观测性与 Pending 排障

    Pod 卡在 Pending 是最常见的现场问题。按以下顺序排查,基本不会漏。

  • 看事件
    kubectl describe pod <name> 找 FailedScheduling 事件,里面写明失败插件与原因(如 Insufficient cpu、node(s) had untolerated taint)。
  • 看资源
    kubectl describe node 看 Allocatable 与已分配;确认 requests(不是 limits)是否还有空间——调度看的是 requests。
  • 看约束
    核对 nodeSelector / affinity / toleration / topologySpreadConstraints 是否过严,pvc 是否 Pending 或绑定失败。
  • 看调度器
    确认 Pod 的 spec.schedulerName 对应的调度器在运行;kubectl -n kube-system logs 加 --v=5 看决策细节。
  • 看指标
    scheduler_pending_pods、scheduler_schedule_attempts、scheduler_scheduling_duration_seconds 定位排队与延迟问题。
  • 高频陷阱:① 用 limits 判断「有没有资源」——错,调度看 requests;② 忘了污点没有对应 toleration;③ PVC 所在存储类不可用导致 VolumeBinding 卡住;④ 自定义调度器没启动,Pod 永远 Pending。

    10. 大规模集群调优

    手段作用注意点
    percentageOfNodesToScore限制参与打分的节点数,降低延迟过小会牺牲放置质量;默认已自适应
    多调度器分片(sharding)不同 schedulerName 各管一类 Pod需自行保证全局视角与公平
    QueueingHint 插件化减少无关事件引发的重调度自定义失败原因要注册对应 Hint
    合理设置 requests直接决定资源能否放下过大浪费、过小导致超卖与抖动
    PDB + 优先级分层让抢占可控、可预期关键负载必须配 PDB

    11. 高频面试题

    Q1:kube-scheduler 的完整调度流程?

    A:监听 nodeName 为空的 Pod → 入 ActiveQ → 调度周期(PreFilter → Filter 过滤可行节点 → PostFilter 抢占兜底 → Score 打分选优 → Reserve 预留)→ 绑定周期(Permit → PreBind → Bind → PostBind),失败走 Unreserve 回滚,最后写 Binding 由 kubelet 接管。

    Q2:ActiveQ / BackoffQ / UnschedulableQ 的区别?

    A:ActiveQ 是立即待调度;BackoffQ 是失败后短期冷却、退避到期自动回 ActiveQ;UnschedulableQ 是明确不可调度,只能靠相关事件或 QueueingHint 唤醒,避免集群频繁事件造成惊群。

    Q3:nominatedNodeName 是不是已经绑定了?

    A:不是。它是抢占的「预约提示」,表示计划在该节点运行、正等牺牲者被驱逐释放资源;真正绑定仍是写 Binding/设置 spec.nodeName,且该提示不保证最终一定落在那里。

    Q4:Permit 扩展点有什么用?

    A:它是唯一能 Wait 的扩展点,位于调度周期与绑定周期之间。gang 调度可用它把一组 Pod 全部扣住,凑齐后一起 Allow 放行,超时则 Reject 并经 Unreserve 回滚——这是原生调度器实现 gang 的钩子,Kueue/Volcano 也借鉴了类似思想。

    Q5:原生调度器和 Kueue、Volcano 的关系?

    A:kube-scheduler 负责单个 Pod 的节点放置;Kueue 是它之前的准入/配额治理层(不替换调度器);Volcano 是自带调度器的作业级批处理引擎(可替换或共存)。三者层次不同,常组合使用,详见本站对比文章。

    元信息

    适用版本:Kubernetes v1.28+(Scheduling Framework 稳定)。关键词:Scheduling Framework、扩展点、调度队列、QueueingHint、抢占、nominatedNodeName、PDB、插件开发、Pending 排障。本文为「调度器系列」第 6 篇,聚焦 Kubernetes 原生调度器底座。