小胖鱼@Think· 调度器系列 博客首页
KUBERNETES · COLOCATION · RESOURCE EFFICIENCY

Koordinator 混部与超卖实战
从 QoS 到干扰抑制

在线闲置、离线 hunger——混部如何把利用率翻倍又不打穿在线 SLO?本文讲透 Koordinator 的 QoS 分级、资源超卖模型、CPU Burst、干扰抑制与弹性资源,理清它与 Kueue/Volcano 的分层边界,并给出可落地的配置与排障清单。

📘 11 章正文 ⚡ 混部超卖 🎯 Koordinator v1.6+ ⏱️ 约 35 分钟

摘要:为什么需要混部

在线服务白天吃满、夜间闲置,离线训练昼夜饥饿却总被抢占——混部(colocation)的目标就是把这两类负载放进同一批机器,用「在线优先、离线填缝」把集群平均 CPU 利用率从 10–20% 拉到 40–60%。Koordinator 是阿里云开源的混部调度系统,通过 QoS 分级、资源超卖、CPU Burst、干扰检测与弹性资源,把「超卖」做得可控、可观测、可回滚。本文从资源浪费的根源出发,逐层讲清它的架构、关键机制、与 Kueue/Volcano 的边界,以及可落地的配置。

阅读前提:混部解决的是「节点资源怎么超卖与隔离」,与 Kueue 的「准入配额」、Volcano 的「作业级 gang 调度」是不同层次。建议先读 Kueue vs Volcano 与 AI GPU 调度全景,再看本篇如何补齐「资源效率」这一层。

1. 资源浪费的根源

在线服务(Web/API/数据库)为了应对流量峰值和故障冗余,按峰值 × 副本冗余申请资源,日均利用率常只有 10–20%;离线作业(训练、批处理、数据分析)能吃满 CPU 却对延迟不敏感。把二者分开部署,等于让一半机器长期空转。

在线集群

按峰值申请,requests 高、平均利用率低,夜间大量 CPU 闲置;但延迟敏感,绝不能被抢占抖动。

→
混部思路

离线作业填「在线用不完的缝」。在线优先保障,离线用低优先级 + 被压制机制,在在线需要时秒级让出资源。

核心矛盾:超卖必然带来干扰(CPU 争抢、内存带宽、缓存、IO)。混部的成败不在「能不能超卖」,而在「超卖后能不能保证在线 SLO 不被破坏」。Koordinator 的全部机制都围绕这一点设计。

2. Koordinator 架构总览

Koordinator 由控制面组件与节点 agent 协作完成混部,既有调度侧决策,也有节点侧执行与反馈。

koord-scheduler · 调度侧
基于 kube-scheduler Framework 扩展,负责 QoS 感知调度、资源超卖分配、Reservation(资源预留)、NUMA 感知、gang 与设备共享等。与原生调度器一脉相承,可增量替换。
koord-manager · 控制面
管理 CRD(如 Reservation、NodeMetric、ConfigMigration),提供全局资源视图与配置下发,为调度决策和节点执行提供控制面能力。
koordlet · 节点侧 agent
真正执行混部策略:上报节点资源指标、实施 CPU 压制/唤醒、内存回收、CPU Burst,并把干扰与资源使用反馈给控制面——这是「超卖可控」的执行末端。
关键分工:调度侧决定「离线 Pod 能不能放上来(按超卖后的可用量)」,节点侧决定「在线忙起来时怎么压制离线」。两者缺一不可:只调度不压制,在线 SLO 会被打穿;只压制不调度,超卖量无法被利用。

3. QoS 分级:在线与离线分层

Koordinator 用 koordinator.sh/qosClass 把 Pod 分级,这是所有差异化策略的基础。它比 Kubernetes 原生 QoS(Guaranteed/Burstable/BestEffort)语义更丰富、更贴近混部场景。

QoS 等级定位典型负载资源策略
LSELatency Sensitive Exclusive极致延迟敏感、独占独占 CPU 核,严格隔离
LSRLatency Sensitive Reserved延迟敏感、需预留绑定 CPU 核,保证最低份额
LSLatency Sensitive普通在线服务优先保障,可被 Burst 加速
BEBest Effort离线训练、批处理填缝使用,可被压制/驱逐
System系统组件DaemonSet 等特殊管理,不参与混部竞技
设计要点:LSE/LSR 用「核级隔离」给最敏感的负载兜底;LS 是主体在线服务;BE 是可牺牲的离线。混部主要发生在 LS ↔ BE 之间——BE 用 LS 的闲置资源,LS 忙时 BE 让路。

4. 资源超卖模型

超卖的核心是一个公式:节点上「可分配给 BE 的资源」= 节点容量 − 在线实际使用(而非在线 requests)。因为在线按峰值申请、实际用得少,中间差额就是可被 BE 利用的「隐藏资源」。

传统调度视角

节点可分配 = 容量 − 已分配 requests。在线 requests 很高 → 留给离线的很少 → 大量 CPU 名义上「已分配」实则闲置。

Koordinator 超卖视角

koordlet 实时上报在线真实使用量,调度侧据此计算 BE 可用量。BE Pod 的 requests 按「超卖资源」计量,从而把闲置部分真正利用起来。

超卖必须配合压制:如果在线突然冲高,BE 还在满跑,就会争抢 CPU 导致 LS 延迟劣化。所以超卖量不是越大越好,必须配合第 6 节的干扰抑制,并保留安全水位。

5. CPU Burst:兼顾延迟与利用率

在线服务平时只用很少 CPU,但偶发尖峰时若被 CPU limit 卡住,请求延迟会瞬间飙升(CPU Throttling)。CPU Burst 允许 LS Pod 在宿主机有空闲时临时突破 limit,用闲置 CPU 消化尖峰;空闲结束自动收回。这是「既压低 requests 保利用率,又不牺牲尖峰延迟」的关键。

  • 常态
    LS Pod 按较低 limit 运行,留出大量 CPU 给 BE 使用,提升利用率。
  • 尖峰到来
    koordlet 检测到该 Pod CPU throttled 且节点有空闲,临时上调其 CPU quota(Burst)。
  • 吸收尖峰
    Pod 用突发额度快速处理请求,避免排队与延迟毛刺。
  • 自动回收
    尖峰过去、或节点 CPU 紧张时,quota 回落;同时压制 BE 优先保障 LS。
  • 价值:没有 Burst,你只能把 limit 设得很高来兜尖峰(利用率低),或设得很低(延迟差)。Burst 让「低限额定 + 按需突发」成为可能,是混部里在线侧体验不受损的重要保障。

    6. 干扰检测与抑制

    当在线与离线共享节点,CPU、内存带宽、Last Level Cache、IO 都会互相干扰。Koordinator 在节点侧做多层抑制,把干扰控制在在线 SLO 可接受范围。

    干扰维度检测信号抑制手段
    CPU在线 CPU 使用率、throttling 时长压制 BE 的 CPU quota / cgroup 权重,必要时驱逐 BE
    内存节点内存水位、在线采用了多少内存回收、回收 BE 页缓存,OOM 时优先杀 BE
    CPU Cache / 带宽LLC 占用、内存带宽压力核级隔离(LSE/LSR)、resctrl 资源控制
    IO磁盘/网络延迟IO 权重与限流,保障在线 IO 优先
    底线机制:当压制仍不足以保障在线 SLO,koordlet 会对 BE Pod 执行驱逐/驱逐重调度,把离线作业挪到别的节点。这是混部的最后一道防线——牺牲离线可用性,保在线 SLO。

    7. 弹性资源与离线调度

    为了让离线作业能「安全地使用超卖资源」,Koordinator 提供了弹性资源与资源预留等机制,把「不确定的空闲」变成「可调度的资源」。

    弹性资源(Elastic Resource)

    把在线低峰期的闲置资源以「弹性」形式计量给离线使用;在线回收时,离线 Pod 可被平滑压制或迁移,而非直接杀死。

    Reservation 资源预留

    为即将到来的Pod(如扩容、gang 作业)提前预留资源,避免「调度时算得开、真正创建时资源被抢」的竞态。

    Gang 与设备共享

    koord-scheduler 也支持 gang 语义与 GPU 设备共享,让离线训练既能整组调度,也能细粒度使用 GPU。

    NUMA 感知

    对延迟敏感与高吞吐负载做 NUMA 节点绑定,减少跨 NUMA 访问,提升 CPU/内存密集负载性能。

    8. 与 Kueue / Volcano 的协同与边界

    这是最容易混淆的一节。三者解决的是资源链路上的不同问题,可以叠加,而不是三选一。

    Kueue · 准入与配额治理(「谁能进场、占多少」)
    决定一个作业是否被 admit、用哪个 ClusterQueue 的配额。停在 Pod 创建之前。可与 Koordinator 叠加:Kueue 管配额账本,Koordinator 管节点上的超卖与隔离。
    Volcano · 作业级调度(「一组作业怎么排、放哪」)
    Session + Action + Plugin 的批处理调度引擎,强在 gang、DRF 公平、抢占回收。koord-scheduler 可与 Volcano 配合:Volcano 决定作业编排,Koordinator 提供节点资源效率与混部隔离。
    Koordinator · 资源效率与隔离(「同一台机器怎么塞更多而不互相伤害」)
    聚焦 QoS 分级、超卖、干扰抑制——这是 Kueue/Volcano 都不覆盖的「节点内资源效率」层。三者组合可覆盖从准入、编排到节点执行的完整链路。
    一句话边界:Kueue 管「配额账本」,Volcano 管「作业编排」,Koordinator 管「容器落位后的资源超卖与干扰」。面试时先分层再谈组合,就不会乱。

    9. 落地实战配置

    给离线作业标记 QoS 为 BE

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: offline-training
    spec:
      template:
        metadata:
          labels:
            koordinator.sh/qosClass: "BE"   # 声明为离线、可被压制
        spec:
          priorityClassName: koord-batch    # 低优先级,便于抢占让路
          containers:
            - name: trainer
              resources:
                requests: {cpu: "2", memory: "4Gi"}
                limits:   {cpu: "2", memory: "4Gi"}
    

    为在线服务开启 CPU Burst

    apiVersion: v1
    kind: Pod
    metadata:
      name: web-api
      annotations:
        koordinator.sh/cpuBurst: '{"enable": true, "policy": "CPUCompression"}'  # 允许突发并支持压缩回收
    spec:
      containers:
        - name: app
          resources:
            requests: {cpu: "1"}
            limits:   {cpu: "1"}   # limit 保持较低,靠 Burst 吸收尖峰
    
    上线节奏:先在非核心集群灰度 → 用指标确认在线 SLO(P99 延迟、throttling 时长)无劣化 → 逐步提高超卖比例 → 保留一键关闭混部的能力。切勿一开始就在核心在线集群开大超卖。

    10. 可观测性与排障

    现象可能原因排查方向
    在线 P99 延迟升高BE 抢占 CPU、超卖过高、Burst 未生效看在线 throttling 时长、BE CPU 占用、节点压制是否触发
    BE 作业频繁被杀节点内存压力大、安全水位过低检查内存回收日志、驱逐事件,适当下调超卖比例
    BE Pod 一直 Pendingkoord-scheduler 未接管、超卖资源算不出来确认 schedulerName、koordlet 指标是否正常上报
    CPU Burst 不生效注解格式错误、节点无空闲 CPU核对 annotation、koordlet 版本与节点余量
    核心观测指标:节点真实利用率 vs requests、在线 throttling 时长、BE 被压制时长/次数、驱逐次数、在线 P99 延迟。混部的健康度要看「利用率提升」与「在线 SLO 保持」两条曲线同时达标。

    11. 高频面试题

    Q1:什么是混部?为什么需要 Koordinator?

    A:混部是在同一批节点上同时跑在线与离线负载,用离线填在线的闲置资源,提升利用率。难点是超卖可能干扰在线 SLO。Koordinator 通过 QoS 分级、资源超卖、CPU Burst、干扰抑制把超卖做得可控——不是简单把离线调度上来,而是能在在线需要时秒级让路。

    Q2:CPU Burst 解决了什么问题?

    A:在线服务若把 CPU limit 设低以提利用率,遇到流量尖峰会被 throttling 拖累延迟;设高又浪费。CPU Burst 允许 LS Pod 在节点空闲时临时突破 limit 吸收尖峰,空闲后回收,兼顾利用率与延迟。

    Q3:BE 作业会不会影响在线 SLO?如何保障?

    A:会有风险。Koordinator 用多层机制保障:调度侧按超卖后的可用量放置;节点侧 koordlet 实时检测,在线忙时压制 BE 的 CPU/内存/IO;必要时驱逐 BE。观测在线 throttling 与 P99 延迟,必要时下调超卖比例。

    Q4:Koordinator 和 Kueue、Volcano 的关系?

    A:不同层次可叠加。Kueue 管准入与配额(谁能进场、占多少),Volcano 管作业级编排(gang、公平、抢占),Koordinator 管节点内的资源超卖与干扰隔离(怎么塞更多而不互相伤害)。三者组合覆盖从准入到节点执行的完整链路。

    Q5:混部上线的最大风险是什么?怎么规避?

    A:最大风险是在线 SLO 被打穿。规避:非核心集群灰度、逐步提高超卖比例、全程观测在线 P99 与 throttling、保留一键关闭混部能力;LSE/LSR 用核级隔离给最敏感负载兜底。

    元信息

    关键词:混部 Colocation、资源超卖、QoS 分级(LSE/LSR/LS/BE)、CPU Burst、干扰检测与抑制、Reservation、NUMA 感知、与 Kueue/Volcano 协同。本文为「调度器系列」第 7 篇,聚焦节点资源效率与隔离。Koordinator 为阿里云开源项目,具体配置以官方文档最新版本为准。