Kubernetes Pod 故障排查:CrashLoopBackOff 与 OOMKilled 实战

Pod 是 Kubernetes 里最小的调度单元,也是故障最集中的一层:镜像拉不到、启动就崩、内存超了被杀、调度不上去,表象各不相同,但排查路径是固定的——先看 Pod 状态与事件,再看日志,最后看资源与配置。本文按这个顺序讲四类最常见的 Pod 故障,每类都给出定位命令与修复方法。

先记住排查三板斧:kubectl get pod 看状态、kubectl describe pod 看事件与最近一次退出的原因、kubectl logs 看应用日志。90% 的 Pod 问题靠这三条命令就能定性,剩下的 10% 才需要进容器或看节点。

一、CrashLoopBackOff:应用启动就崩,先看上一次退出的日志

CrashLoopBackOff 的意思是容器反复启动、反复退出,kubelet 按指数退避不断重试。根因几乎都在应用侧:配置错、依赖的服务没起来、启动命令写错、健康检查太严。排查的关键是看“上一次”容器的日志(--previous),而不是当前容器的日志——当前容器可能还没跑起来,什么都没有。

<pre class="wp-block-syntaxhighlighter-code"># 1. 看 Pod 状态与重启次数
kubectl get pods -A | grep -v -E 'Running|Completed'
kubectl get pod <pod> -n <ns> -o wide
# 2. describe 看事件与上一次退出的原因(Last State 的 exit code 与 reason)
kubectl describe pod <pod> -n <ns>
# 3. 看上一次容器的日志(CrashLoop 的关键)
kubectl logs <pod> -n <ns> --previous --tail=100
# 多容器 Pod 要指定容器名
kubectl logs <pod> -n <ns> -c <container> --previous --tail=100
# 4. 退出码对照:1 是应用报错、137 是被 OOM 杀、139 是段错误、143 是被 SIGTERM 终止</pre>

常见根因与修复:配置文件里的环境变量写错(对照 ConfigMap 与 Secret 的 key);依赖的数据库或中间件还没 ready(加 initContainer 等依赖就绪,或给应用加重试);启动命令的路径写错(进镜像里确认二进制在不在);livenessProbe 太严(应用还没启动完就被探活杀掉,见第三节)。

二、OOMKilled:内存超了被杀,先分清是限额小还是真泄漏

OOMKilled 是容器内存超过 limits 被 kubelet 杀掉,describe 里 Last State 的 reason 就是 OOMKilled。分两种情况:limits 设得太小,应用正常运行也会被杀;应用真有内存泄漏,内存一路涨到顶。区分方法是看内存使用曲线:平稳上涨后突然被杀是泄漏,启动后很快到顶是限额小。还要区分 requests 与 limits:requests 影响调度(节点上要有这么多空闲内存才调度得上),limits 是硬上限。

<pre class="wp-block-syntaxhighlighter-code"># 确认是不是 OOMKilled(看 Last State)
kubectl describe pod <pod> -n <ns> | grep -A5 'Last State'
# 看容器当前的内存用量与限额(需要 metrics-server)
kubectl top pod <pod> -n <ns> --containers
# 看 Pod 的资源配置
kubectl get pod <pod> -n <ns> -o jsonpath='{.spec.containers[*].resources}'
# 进容器看进程级内存(确认是哪个进程在吃内存)
kubectl exec -it <pod> -n <ns> -- ps aux --sort=-%mem | head -10
# 看节点内存压力(节点内存不足时 kubelet 会按 QoS 逐出 Pod)
kubectl describe node <node> | grep -A5 'Allocated resources'
kubectl get events -n <ns> --field-selector reason=Evicted --sort-by=.lastTimestamp | head</pre>

修复方法:限额小就调大 limits(同时把 requests 也调到合理值,避免调度时抢不到资源);真泄漏就修应用,临时先调大 limits 争取时间;Java 类应用要显式设堆内存上限(-Xmx),让 JVM 堆 + 非堆内存总量小于 limits,否则 JVM 自己不知道上限在哪;节点内存不足导致的逐出(Evicted)要扩容节点或调低非关键 Pod 的优先级。

三、探针配错:livenessProbe 与 readinessProbe 的常见坑

探针配错是“服务明明能跑、K8s 却不停重启它”的头号原因。livenessProbe 判断容器死活,失败就重启容器;readinessProbe 判断能不能接流量,失败就从 Service 摘掉。两个探针的坑各不相同:liveness 的 initialDelaySeconds 太小,应用还没启动完就被杀;readiness 探到依赖服务上,依赖一抖就把所有 Pod 摘掉;探针用 HTTP GET 探到重定向或鉴权接口上,永远返回非 200。

# 探针配置示例:启动慢的应用要给足时间
livenessProbe:
  httpGet:
    path: /healthz
    port: 8080
  initialDelaySeconds: 30      # 应用启动耗时 + 余量
  periodSeconds: 10
  timeoutSeconds: 5
  failureThreshold: 3          # 连续失败 3 次才重启
readinessProbe:
  httpGet:
    path: /ready
    port: 8080
  initialDelaySeconds: 10
  periodSeconds: 5
  failureThreshold: 3
# 启动特别慢的应用(冷启动 2 分钟以上)用 startupProbe 兜底
startupProbe:
  httpGet:
    path: /healthz
    port: 8080
  failureThreshold: 30         # 30 次 × 10 秒 = 最多等 5 分钟
  periodSeconds: 10

经验值:initialDelaySeconds 按应用实测启动时间 + 50% 余量;liveness 探针只探进程本身是否存活,不要探依赖(数据库、缓存);readiness 可以探依赖,但依赖抖动时要有降级策略;Java 应用冷启动慢的,优先用 startupProbe 而不是把 initialDelaySeconds 设得很大。

四、ImagePullBackOff 与 Pending:镜像与调度问题

ImagePullBackOff 是镜像拉取失败:镜像名写错、tag 不存在、私有仓库没配 imagePullSecrets、节点到仓库的网络不通。Pending 是调度不上:资源不足、节点选择器(nodeSelector)没匹配到节点、污点(taint)把 Pod 挡住、PVC 挂不上。两类问题的排查命令不同,但都是 describe 看事件。

<pre class="wp-block-syntaxhighlighter-code"># ImagePullBackOff:看事件里的具体报错
kubectl describe pod <pod> -n <ns> | grep -A3 -E 'Failed|BackOff'
# 私有仓库:确认 imagePullSecrets 配了,且 Secret 类型正确
kubectl get secret <secret> -n <ns> -o jsonpath='{.type}'
# 手动验证镜像能不能拉(在节点上,或用 crane 拉取测试)
# crictl images | grep <image>
# Pending:看调度器为什么没调度上
kubectl describe pod <pod> -n <ns> | grep -A10 Events
# 资源不足:看各节点可分配资源
kubectl describe nodes | grep -A3 'Allocated resources'
# 污点挡住:看节点污点与 Pod 容忍度
kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.taints}{"\n"}{end}'
# PVC 挂不上:看 PVC 与 StorageClass 状态
kubectl get pvc -n <ns>
kubectl describe pvc <pvc> -n <ns> | grep -A5 Events</pre>

修复方法:镜像问题先确认 tag 存在(仓库里查),私有仓库补 imagePullSecrets;资源不足时调小 requests、扩容节点或清理僵尸 Pod;污点问题给 Pod 加 tolerations 或去掉节点污点;PVC 问题按 StorageClass 与 CSI 驱动排查,见本站 K8s CSI 存储实战。

五、进容器与抓现场:Pod 还活着但行为异常

Pod 状态是 Running 但业务不正常时,要进容器看现场:进程在不在、端口在不在监听、配置文件是不是预期的、能不能连通依赖。注意:kubectl exec 进去看到的是容器内的视角,网络命名空间与宿主机不同;distroless 或精简镜像里可能没有 shell,这时要用 kubectl debug 起一个临时容器共享进程命名空间。

<pre class="wp-block-syntaxhighlighter-code"># 进容器看进程与端口
kubectl exec -it <pod> -n <ns> -- ps aux
kubectl exec -it <pod> -n <ns> -- ss -ltnp
kubectl exec -it <pod> -n <ns> -- cat /etc/app/config.yaml
# 容器内测依赖连通性
kubectl exec -it <pod> -n <ns> -- sh -c 'nc -vz mysql 3306; curl -s -o /dev/null -w "%{http_code}\n" http://api:8080/healthz'
# 无 shell 的精简镜像:用 kubectl debug 起临时容器
kubectl debug -it <pod> -n <ns> --image=busybox --target=<container>
# 抓现场快照:导出 describe 与日志留底(故障复盘用)
kubectl describe pod <pod> -n <ns> > /tmp/pod-describe.txt
kubectl logs <pod> -n <ns> --previous > /tmp/pod-prev.log 2>&1
kubectl get events -n <ns> --sort-by=.lastTimestamp > /tmp/events.txt</pre>

六、网络不通:Service、DNS 与 NetworkPolicy 三段查

Pod 本身 Running、但服务调不通时,问题多半不在 Pod,而在它前面的三段:Service 有没有选中 Pod(Endpoints 为空就是 selector 写错了)、集群 DNS 能不能解析 Service 名、NetworkPolicy 有没有把流量拦掉。排查顺序是先 Endpoints、再 DNS、最后策略,别一上来就重启 Pod。

# 1. Service 有没有选中 Pod(ENDPOINTS 为空 = selector 或标签错了)
kubectl get svc -n app
kubectl get endpoints -n app my-svc
kubectl get pods -n app --show-labels | grep my-app
# 2. Pod 内能不能解析 Service 名(进一个能调通的 Pod 里测)
kubectl exec -n app -it debug-pod -- nslookup my-svc.app.svc.cluster.local
kubectl exec -n app -it debug-pod -- getent hosts my-svc
# CoreDNS 本身是否正常
kubectl get pods -n kube-system -l k8s-app=kube-dns
kubectl logs -n kube-system -l k8s-app=kube-dns --tail=50 | grep -i error
# 3. 直连 Pod IP 通不通(通 = Service 层问题,不通 = CNI/网络策略问题)
kubectl exec -n app -it debug-pod -- curl -m 5 http://10.244.1.23:8080/health
# 看有没有 NetworkPolicy 拦着(策略存在时默认拒绝未放行流量)
kubectl get networkpolicy -n app
kubectl describe networkpolicy -n app allow-app

最常见的两个坑:一是 Service 的 selector 与 Pod 标签差一个字符,Endpoints 一直为空,服务却“看起来正常”;二是 NetworkPolicy 一旦创建、默认就是拒绝所有未明确放行的流量,很多人只写了 ingress 放行、忘了 egress,导致 Pod 能收请求、却调不通数据库。改完策略后用同一条 curl 复测,不要只看 kubectl get 的状态。

七、存储挂载失败:PVC、权限与节点磁盘三处看

Pod 卡在 ContainerCreating、事件里报 FailedMount 或 FailedAttachVolume 时,先看三处:PVC 有没有绑定到 PV(Pending 就是没绑上)、挂载后应用有没有写权限(fsGroup 没设、目录属主不对最常见)、节点磁盘或 inode 是不是满了。存储问题重启 Pod 没用,根因在卷与节点上。

# PVC 状态:Pending = 没绑上 PV(看 StorageClass 与容量)
kubectl get pvc -n app
kubectl describe pvc -n app data-pvc | grep -A5 Events
# PV 与 StorageClass 是否正常
kubectl get pv
kubectl get storageclass
# 挂载权限:securityContext 里设 fsGroup,让挂载目录归属应用组
# spec:
#   securityContext:
#     fsGroup: 1000
#   containers:
#   - name: app
#     volumeMounts:
#     - name: data
#       mountPath: /data
# 节点磁盘满了也会导致挂载失败
kubectl describe node node-1 | grep -A5 -i 'disk\|memory\|pid'
df -h /var/lib/kubelet  # 在节点上执行

注意:fsGroup 只在 Pod 首次挂载卷时递归改属主,已有大量文件的旧卷改 fsGroup 后首次启动会很慢(要逐个文件改权限),大卷先在低峰期做。PVC 删不掉时先看有没有 Pod 还在用它、以及 finalizer 是否卡住,不要直接删 PV——删了 PV 数据就没了。

八、排查检查清单

  • 三板斧:get 看状态、describe 看事件与退出原因、logs --previous 看上一次日志。
  • CrashLoopBackOff:先看退出码(1 应用错、137 OOM、139 段错误),再对配置与依赖。
  • OOMKilled:分清限额小还是泄漏,Java 应用要显式设 -Xmx,requests 与 limits 一起调。
  • 探针:liveness 只探自身、readiness 可探依赖,启动慢的应用用 startupProbe 兜底。
  • 镜像与调度:ImagePullBackOff 查 tag 与 Secret,Pending 查资源、污点与 PVC。
  • 留证据:describe、日志、事件先导出再处理,复盘时才有据可查。

发表回复

后才能评论