摘要:为什么需要混部
在线服务白天吃满、夜间闲置,离线训练昼夜饥饿却总被抢占——混部(colocation)的目标就是把这两类负载放进同一批机器,用「在线优先、离线填缝」把集群平均 CPU 利用率从 10–20% 拉到 40–60%。Koordinator 是阿里云开源的混部调度系统,通过 QoS 分级、资源超卖、CPU Burst、干扰检测与弹性资源,把「超卖」做得可控、可观测、可回滚。本文从资源浪费的根源出发,逐层讲清它的架构、关键机制、与 Kueue/Volcano 的边界,以及可落地的配置。
1. 资源浪费的根源
在线服务(Web/API/数据库)为了应对流量峰值和故障冗余,按峰值 × 副本冗余申请资源,日均利用率常只有 10–20%;离线作业(训练、批处理、数据分析)能吃满 CPU 却对延迟不敏感。把二者分开部署,等于让一半机器长期空转。
按峰值申请,requests 高、平均利用率低,夜间大量 CPU 闲置;但延迟敏感,绝不能被抢占抖动。
离线作业填「在线用不完的缝」。在线优先保障,离线用低优先级 + 被压制机制,在在线需要时秒级让出资源。
2. Koordinator 架构总览
Koordinator 由控制面组件与节点 agent 协作完成混部,既有调度侧决策,也有节点侧执行与反馈。
3. QoS 分级:在线与离线分层
Koordinator 用 koordinator.sh/qosClass 把 Pod 分级,这是所有差异化策略的基础。它比 Kubernetes 原生 QoS(Guaranteed/Burstable/BestEffort)语义更丰富、更贴近混部场景。
| QoS 等级 | 定位 | 典型负载 | 资源策略 |
|---|---|---|---|
| LSE | Latency Sensitive Exclusive | 极致延迟敏感、独占 | 独占 CPU 核,严格隔离 |
| LSR | Latency Sensitive Reserved | 延迟敏感、需预留 | 绑定 CPU 核,保证最低份额 |
| LS | Latency Sensitive | 普通在线服务 | 优先保障,可被 Burst 加速 |
| BE | Best Effort | 离线训练、批处理 | 填缝使用,可被压制/驱逐 |
| System | 系统组件 | DaemonSet 等 | 特殊管理,不参与混部竞技 |
4. 资源超卖模型
超卖的核心是一个公式:节点上「可分配给 BE 的资源」= 节点容量 − 在线实际使用(而非在线 requests)。因为在线按峰值申请、实际用得少,中间差额就是可被 BE 利用的「隐藏资源」。
节点可分配 = 容量 − 已分配 requests。在线 requests 很高 → 留给离线的很少 → 大量 CPU 名义上「已分配」实则闲置。
koordlet 实时上报在线真实使用量,调度侧据此计算 BE 可用量。BE Pod 的 requests 按「超卖资源」计量,从而把闲置部分真正利用起来。
5. CPU Burst:兼顾延迟与利用率
在线服务平时只用很少 CPU,但偶发尖峰时若被 CPU limit 卡住,请求延迟会瞬间飙升(CPU Throttling)。CPU Burst 允许 LS Pod 在宿主机有空闲时临时突破 limit,用闲置 CPU 消化尖峰;空闲结束自动收回。这是「既压低 requests 保利用率,又不牺牲尖峰延迟」的关键。
6. 干扰检测与抑制
当在线与离线共享节点,CPU、内存带宽、Last Level Cache、IO 都会互相干扰。Koordinator 在节点侧做多层抑制,把干扰控制在在线 SLO 可接受范围。
| 干扰维度 | 检测信号 | 抑制手段 |
|---|---|---|
| CPU | 在线 CPU 使用率、throttling 时长 | 压制 BE 的 CPU quota / cgroup 权重,必要时驱逐 BE |
| 内存 | 节点内存水位、在线采用了多少 | 内存回收、回收 BE 页缓存,OOM 时优先杀 BE |
| CPU Cache / 带宽 | LLC 占用、内存带宽压力 | 核级隔离(LSE/LSR)、resctrl 资源控制 |
| IO | 磁盘/网络延迟 | IO 权重与限流,保障在线 IO 优先 |
7. 弹性资源与离线调度
为了让离线作业能「安全地使用超卖资源」,Koordinator 提供了弹性资源与资源预留等机制,把「不确定的空闲」变成「可调度的资源」。
把在线低峰期的闲置资源以「弹性」形式计量给离线使用;在线回收时,离线 Pod 可被平滑压制或迁移,而非直接杀死。
为即将到来的Pod(如扩容、gang 作业)提前预留资源,避免「调度时算得开、真正创建时资源被抢」的竞态。
koord-scheduler 也支持 gang 语义与 GPU 设备共享,让离线训练既能整组调度,也能细粒度使用 GPU。
对延迟敏感与高吞吐负载做 NUMA 节点绑定,减少跨 NUMA 访问,提升 CPU/内存密集负载性能。
8. 与 Kueue / Volcano 的协同与边界
这是最容易混淆的一节。三者解决的是资源链路上的不同问题,可以叠加,而不是三选一。
9. 落地实战配置
给离线作业标记 QoS 为 BE
apiVersion: apps/v1
kind: Deployment
metadata:
name: offline-training
spec:
template:
metadata:
labels:
koordinator.sh/qosClass: "BE" # 声明为离线、可被压制
spec:
priorityClassName: koord-batch # 低优先级,便于抢占让路
containers:
- name: trainer
resources:
requests: {cpu: "2", memory: "4Gi"}
limits: {cpu: "2", memory: "4Gi"}
为在线服务开启 CPU Burst
apiVersion: v1
kind: Pod
metadata:
name: web-api
annotations:
koordinator.sh/cpuBurst: '{"enable": true, "policy": "CPUCompression"}' # 允许突发并支持压缩回收
spec:
containers:
- name: app
resources:
requests: {cpu: "1"}
limits: {cpu: "1"} # limit 保持较低,靠 Burst 吸收尖峰
10. 可观测性与排障
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
| 在线 P99 延迟升高 | BE 抢占 CPU、超卖过高、Burst 未生效 | 看在线 throttling 时长、BE CPU 占用、节点压制是否触发 |
| BE 作业频繁被杀 | 节点内存压力大、安全水位过低 | 检查内存回收日志、驱逐事件,适当下调超卖比例 |
| BE Pod 一直 Pending | koord-scheduler 未接管、超卖资源算不出来 | 确认 schedulerName、koordlet 指标是否正常上报 |
| CPU Burst 不生效 | 注解格式错误、节点无空闲 CPU | 核对 annotation、koordlet 版本与节点余量 |
11. 高频面试题
Q1:什么是混部?为什么需要 Koordinator?
A:混部是在同一批节点上同时跑在线与离线负载,用离线填在线的闲置资源,提升利用率。难点是超卖可能干扰在线 SLO。Koordinator 通过 QoS 分级、资源超卖、CPU Burst、干扰抑制把超卖做得可控——不是简单把离线调度上来,而是能在在线需要时秒级让路。
Q2:CPU Burst 解决了什么问题?
A:在线服务若把 CPU limit 设低以提利用率,遇到流量尖峰会被 throttling 拖累延迟;设高又浪费。CPU Burst 允许 LS Pod 在节点空闲时临时突破 limit 吸收尖峰,空闲后回收,兼顾利用率与延迟。
Q3:BE 作业会不会影响在线 SLO?如何保障?
A:会有风险。Koordinator 用多层机制保障:调度侧按超卖后的可用量放置;节点侧 koordlet 实时检测,在线忙时压制 BE 的 CPU/内存/IO;必要时驱逐 BE。观测在线 throttling 与 P99 延迟,必要时下调超卖比例。
Q4:Koordinator 和 Kueue、Volcano 的关系?
A:不同层次可叠加。Kueue 管准入与配额(谁能进场、占多少),Volcano 管作业级编排(gang、公平、抢占),Koordinator 管节点内的资源超卖与干扰隔离(怎么塞更多而不互相伤害)。三者组合覆盖从准入到节点执行的完整链路。
Q5:混部上线的最大风险是什么?怎么规避?
A:最大风险是在线 SLO 被打穿。规避:非核心集群灰度、逐步提高超卖比例、全程观测在线 P99 与 throttling、保留一键关闭混部能力;LSE/LSR 用核级隔离给最敏感负载兜底。
元信息
关键词:混部 Colocation、资源超卖、QoS 分级(LSE/LSR/LS/BE)、CPU Burst、干扰检测与抑制、Reservation、NUMA 感知、与 Kueue/Volcano 协同。本文为「调度器系列」第 7 篇,聚焦节点资源效率与隔离。Koordinator 为阿里云开源项目,具体配置以官方文档最新版本为准。