Kubernetes HPA 自动扩缩容与资源配额实战
HPA(Horizontal Pod Autoscaler)是 Kubernetes 里最实用的弹性能力:按 CPU、内存或自定义指标自动增减 Pod 副本数。但很多团队配了 HPA 却发现它不工作或乱工作:指标一直拿不到、副本数来回抖动、扩上去又缩不回来。本文从 HPA 的工作原理讲起,落地两类指标的扩缩容,再讲配额与抖动的治理。
先说 HPA 的工作前提:Pod 必须设置 resources.requests(CPU 或内存),因为 HPA 的 CPU 利用率是按 requests 的百分比算的,没设 requests 就没有分母;集群里要有 metrics-server(CPU/内存指标)或 Prometheus Adapter(自定义指标),否则 HPA 拿不到数据。
一、HPA 怎么工作:控制循环与扩缩容公式
HPA 每 15 秒(默认同步周期)检查一次指标,按“期望副本数 = 当前副本数 × 当前指标值 / 目标指标值”算出目标副本数,再在 minReplicas 与 maxReplicas 之间钳制。理解这个公式就能解释很多怪现象:指标值是所有 Pod 的平均值,某个 Pod 特别忙会被平均掉;扩容是立即的,缩容默认要等 5 分钟稳定窗口,避免刚扩完又缩回去。
<pre class="wp-block-syntaxhighlighter-code"># 确认 metrics-server 在跑(CPU/内存指标的前提)
kubectl get deployment metrics-server -n kube-system
kubectl top pods -n <ns>
kubectl top nodes
# 看 HPA 当前状态与指标
kubectl get hpa -n <ns>
kubectl describe hpa <hpa> -n <ns>
# 看 HPA 的事件(扩缩容记录都在这里)
kubectl get events -n <ns> --field-selector reason=SuccessfulRescale --sort-by=.lastTimestamp | head -20
# 手动验证指标值:Pod 的 CPU 利用率(相对 requests 的百分比)
kubectl top pod -n <ns> --containers</pre>
注意:kubectl top 显示的是 CPU 绝对用量(毫核),HPA 用的是相对 requests 的百分比——一个 requests=500m、实际用 400m 的 Pod,利用率是 80%,不是 40%。requests 设得不合理,HPA 的判断就全错。
二、CPU 与内存 HPA:最常用的两种配置
CPU 是最稳定的扩缩容信号,内存一般不建议作为扩缩容指标(内存用量只涨不跌,缩容时容易误判)。autoscaling/v2 支持多指标:CPU 到了 70% 或内存到了 80% 任一满足就扩容,取两者算出的最大值。minReplicas 至少 2(保可用性),maxReplicas 按节点资源与成本上限定。
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: web-hpa
namespace: prod
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: web
minReplicas: 2
maxReplicas: 20
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 70
- type: Resource
resource:
name: memory
target:
type: Utilization
averageUtilization: 80
behavior:
scaleDown:
stabilizationWindowSeconds: 300 # 缩容前观察 5 分钟,避免抖动
policies:
- type: Percent
value: 50 # 每次最多缩掉 50%
periodSeconds: 60
scaleUp:
stabilizationWindowSeconds: 0
policies:
- type: Percent
value: 100
periodSeconds: 30
behavior 字段是治理抖动的关键:scaleDown 的 stabilizationWindowSeconds 让缩容决策等一等,确认流量真的下去了再缩;policies 限制单次缩容幅度,避免一次从 20 个缩到 2 个。压测验证:用 wrk 把 CPU 打到 80% 以上,看副本数是否在 1–2 分钟内开始扩,流量停后 5 分钟是否平稳缩回。
三、自定义指标:按 QPS 与队列深度扩缩容
CPU 扩缩容有个滞后:流量涨了,CPU 先涨、HPA 再扩,中间有 1–2 分钟的窗口。对延迟敏感的业务,更好的信号是业务指标:HTTP QPS、消息队列深度、每秒请求数。这需要 Prometheus + Prometheus Adapter 把自定义指标暴露给 metrics API,HPA 再按 Pods 或 Object 类型引用。
# 按每 Pod 平均 QPS 扩缩容(需要 Prometheus Adapter 已注册 apiservice)
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: api-hpa
namespace: prod
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: api
minReplicas: 3
maxReplicas: 30
metrics:
- type: Pods
pods:
metric:
name: http_requests_per_second
target:
type: AverageValue
averageValue: "100" # 每个 Pod 平均 100 QPS 就扩容
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 70
# 验证自定义指标能不能被 HPA 读到
kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1/namespaces/prod/pods/*/http_requests_per_second" | head -c 500
kubectl get apiservice | grep custom-metrics
落地要点:业务指标要先在 Prometheus 里有(应用暴露 /metrics 或用中间件统计);Adapter 的 rules 要把 PromQL 映射成 HPA 能读的指标名;先用 CPU HPA 跑稳,再叠加自定义指标做双信号,两个指标取最大值扩容。
四、ResourceQuota 与 LimitRange:配额是弹性的护栏
HPA 没有配额护栏时,一次流量洪峰能把整个命名空间的 CPU 占满,挤垮同命名空间的其他服务。ResourceQuota 限制命名空间的总量(CPU、内存、Pod 数),LimitRange 给没写 resources 的 Pod 补默认值、并限制单个 Pod 的上下限。两者配合:LimitRange 保证每个 Pod 都有合理的 requests(HPA 才有分母),Quota 保证总盘子不超。
# ResourceQuota:命名空间总量上限
apiVersion: v1
kind: ResourceQuota
metadata:
name: prod-quota
namespace: prod
spec:
hard:
requests.cpu: "20"
requests.memory: 40Gi
limits.cpu: "40"
limits.memory: 80Gi
pods: "50"
services: "20"
---
# LimitRange:单个 Pod 的默认与上下限
apiVersion: v1
kind: LimitRange
metadata:
name: prod-limits
namespace: prod
spec:
limits:
- type: Container
default:
cpu: 500m
memory: 512Mi
defaultRequest:
cpu: 200m
memory: 256Mi
max:
cpu: "4"
memory: 8Gi
min:
cpu: 50m
memory: 64Mi
注意:Quota 满了之后新 Pod 会 Pending,HPA 扩容会被静默挡住——describe HPA 会看到 FailedGetScale 之类的事件。配额要按业务峰值 + 30% 余量定,超了要走审批扩配额,而不是让业务自己去改 LimitRange。定期用 kubectl describe quota 看用量,接近 80% 就预警。
五、扩缩容抖动与失效:五类常见故障
HPA 抖动(副本数上下跳)与失效(该扩不扩)各有典型根因:指标波动大、目标值设得太低、Pod 启动太慢、metrics-server 故障、HPA 目标引用了不存在的 Deployment。排查时先看 kubectl describe hpa 的 Conditions,再看事件。
# 抖动:看副本数变化历史
kubectl get hpa web-hpa -n prod -w
# 指标拿不到:Conditions 里会报 ScalingActive=False
kubectl describe hpa web-hpa -n prod | grep -A5 Conditions
# metrics-server 故障:API 服务状态
kubectl get apiservice v1beta1.metrics.k8s.io -o yaml | grep -A3 status
kubectl logs -n kube-system deployment/metrics-server --tail=50
# 目标值太低导致频繁扩缩:把 averageUtilization 从 50% 提到 70%,并加缩容稳定窗口
# Pod 启动慢导致扩了也扛不住:配合 Cluster Autoscaler 自动加节点(节点扩容通常要 2–5 分钟)
# 兜底:HPA 失效时手动指定副本数(kubectl scale),先保住业务再查 HPA
经验值:CPU 目标 70% 是兼顾利用率与缓冲的甜点;缩容稳定窗口 5 分钟是底线,流量有毛刺的业务可以放到 10 分钟;HPA 扩容速度跟不上突发流量时,前面要加一层 Cluster Autoscaler 自动扩节点,或者在已知大促前手动把 minReplicas 抬高。
六、VPA 与 HPA 的边界:别让两个自动扩缩容互相打架
HPA 调副本数、VPA 调单个 Pod 的 requests/limits,两者可以配合,但不能对同一个指标同时动手:VPA 改了 requests,HPA 按 utilization(实际用量/requests)算出来的目标就变了,两边互相追、副本数与资源量一起抖动。常见做法是二选一:无状态服务用 HPA;有状态或资源需求不稳定的服务用 VPA 的推荐值先定基线,再由 HPA 按副本数扩缩。
# VPA 只给推荐、不自动改(先观察一周推荐值再决定)
apiVersion: autoscaling.k8s.io/v1
kind: VerticalPodAutoscaler
metadata:
name: app-vpa
spec:
targetRef:
apiVersion: apps/v1
kind: Deployment
name: app
updatePolicy:
updateMode: "Off" # Off 只推荐不执行;Auto 才会自动重建 Pod 改资源
# 看 VPA 的推荐值(按推荐值调 requests,比拍脑袋准)
kubectl describe vpa app-vpa | grep -A10 Recommendation
# requests 定基线的方法:取 P95 实际用量 × 1.3,再留突发余量
# kubectl top pods -n app --sort-by=memory
# HPA 与 VPA 同存时的铁律:HPA 的 target 只看外部指标(QPS/队列),
# 别同时让 HPA 按 CPU utilization 扩缩、又让 VPA 改 CPU requests
VPA 的 updateMode=Auto 会在改资源时重建 Pod,等于一次滚动发布,别在高峰期开。更稳妥的流程是先用 Off 模式跑一周,拿推荐值手动改 requests/limits、灰度验证,再决定要不要开 Auto。requests 定得太低,HPA 的 utilization 分母变小、稍微一忙就疯狂扩副本;定得太高,节点资源被白白占着、调度不上去。
七、压测验证与扩容演练:别等大促才发现扩不上去
HPA 配完不压测,等于没配。演练要验证三件事:指标能不能上来(metrics-server 与自定义指标通路)、副本数能不能按预期涨(从 min 到 max 要多久)、缩容会不会抖( stabilizationWindowSeconds 是否生效)。演练要在业务低峰期做,压测流量逐步加,观察 HPA 事件与副本数变化的全过程。
# 压测前确认:HPA 当前状态与目标值
kubectl get hpa -n app -w
kubectl describe hpa -n app app-hpa | grep -A10 -E 'Metrics|Events'
# 逐步加压(用 wrk 或 hey 压 Service,观察副本数变化)
# hey -z 5m -c 200 http://app-svc/
# 演练中看副本数与指标:CPU 到目标值后,HPA 应在 1-2 分钟内开始扩容
kubectl get pods -n app -w
# 缩容验证:压测停后,看副本数是否在 stabilizationWindowSeconds 内保持、
# 再缓慢缩回(默认缩容稳定窗口 5 分钟,缩太快说明窗口设小了)
# kubectl get hpa -n app --watch
# 演练记录:扩到 maxReplicas 用了多久、P99 有没有在扩容期间恶化、
# 节点资源够不够(节点满了 HPA 再想扩也调度不上去,先看集群余量)
kubectl top nodes
kubectl describe nodes | grep -E 'Allocated resources|memory|cpu' | head -20
演练最容易暴露的问题是节点资源不足:HPA 把副本数扩上去了,Pod 却 Pending 调度不上去——这时要扩的是节点(Cluster Autoscaler)而不是 HPA 的 maxReplicas。把演练结果记下来:扩到满副本用多久、缩容多久回落、P99 在扩容窗口内有没有恶化,下次大促前照着这个数定 minReplicas 预热。
八、落地检查清单
- 前提:Pod 必须设 requests(HPA 的分母),metrics-server 或 Prometheus Adapter 正常。
- 指标:CPU 目标 70%,内存不做主指标;延迟敏感业务叠加 QPS/队列深度自定义指标。
- 防抖:缩容稳定窗口 5 分钟起,单次缩容幅度不超 50%。
- 配额:ResourceQuota 限总量、LimitRange 补默认值,配额用量到 80% 就预警。
- 演练:压测验证扩容在 2 分钟内启动、流量停后平稳缩回,HPA 失效时手动 scale 兜底。







