Docker 容器网络排障:bridge、overlay 与 DNS 实战
Docker 网络故障的表象很集中:容器之间 ping 不通、容器访问不了外网、容器里域名解析失败。但根因分属三条不同的链路:容器互访走 bridge 网络与 veth,容器出网走 NAT 与宿主机 iptables,域名解析走内嵌 DNS(127.0.0.11)。排查时先分清是哪条链路断了,再逐段定位,比一上来就重启 Docker 有效得多。
先记住三个关键事实:默认 bridge 网络里的容器只能用 IP 互访、不能用容器名解析(只有自定义网络才有内嵌 DNS);容器出网依赖宿主机的 IP 转发与 MASQUERADE 规则;Docker 会往 iptables 里写规则,宿主机上如果另有 firewalld 或自定义规则,两者可能互相冲掉。
一、容器互访不通:先看在不在同一个网络
容器互访的第一步是确认两个容器在同一个 Docker 网络里、IP 在同一个网段。默认 bridge 网络(docker0)里的容器没有名字解析,只能用 IP 访问;自定义网络里的容器可以用容器名或服务名互相访问。跨网络的容器默认是不通的,要用 docker network connect 接进来。
<pre class="wp-block-syntaxhighlighter-code"># 看容器在哪个网络、IP 是多少
docker inspect <容器> --format '{{json .NetworkSettings.Networks}}' | python3 -m json.tool
# 列出所有网络与接入的容器
docker network ls
docker network inspect <网络名> --format '{{range .Containers}}{{.Name}} {{.IPv4Address}}{{"\n"}}{{end}}'
# 容器内互访测试(用 IP 和容器名各测一次)
docker exec -it web sh -c 'ping -c2 172.18.0.5; ping -c2 db; getent hosts db'
# 跨网络的容器接进来
docker network connect <网络名> <容器>
# 看 veth 对与网桥状态(宿主机上)
ip link show type veth | head
brctl show docker0 2>/dev/null || bridge link show</pre>
常见根因:容器在默认 bridge 里却用容器名访问(改用自定义网络);容器 IP 冲突(网段被宿主机其他网卡占用,改 daemon.json 的 bip);网络模式用了 --network=none 或 host(host 模式的容器没有独立网络命名空间,端口直接占宿主机端口)。
二、容器出不了网:NAT 与 IP 转发逐段查
容器访问外网的链路是:容器 → veth → docker0 网桥 → 宿主机 iptables MASQUERADE → 宿主机网卡出网。任何一段断了都出不去。排查顺序:容器内能不能 ping 通网关(docker0 的 IP),能不能 ping 通宿主机外网 IP,能不能解析域名——三步能定位断在哪一段。
<pre class="wp-block-syntaxhighlighter-code"># 容器内三步定位:网关 → 外网 IP → 域名
docker exec -it <容器> sh -c 'ip route; ping -c2 172.17.0.1; ping -c2 8.8.8.8; nslookup www.baidu.com'
# 宿主机:IP 转发开了吗(必须为 1)
sysctl net.ipv4.ip_forward
# 没有就打开并持久化
echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf && sysctl -p
# 宿主机:MASQUERADE 规则在不在(POSTROUTING 链)
iptables -t nat -L POSTROUTING -n -v | grep -i masquerade
# 规则丢了:重启 Docker 会重建(会短暂影响运行中的容器网络)
systemctl restart docker
# 防火墙冲掉规则:确认 firewalld 的 docker zone 或直接看 FORWARD 链默认策略
iptables -L FORWARD -n | head
firewall-cmd --list-all-zones 2>/dev/null | grep -A5 docker</pre>
最常见的坑:宿主机上执行 iptables -F 清空规则会把 Docker 的 NAT 规则一起清掉,容器立刻断网——这时重启 Docker 才能重建规则。生产上不要在装了 Docker 的机器上直接 iptables -F,改规则前先备份 iptables-save 的输出。
三、DNS 解析失败:内嵌 DNS 与宿主机 DNS 的区别
自定义网络里的容器默认用 Docker 内嵌 DNS(127.0.0.11)解析容器名,解析外网域名时再转发到宿主机的 DNS。解析失败分两种:容器名解析失败(一般是没在同一个自定义网络),外网域名解析失败(宿主机 DNS 有问题,或容器的 resolv.conf 被写死)。先看容器内的 /etc/resolv.conf 再动手。
<pre class="wp-block-syntaxhighlighter-code"># 容器内的 DNS 配置
docker exec -it <容器> cat /etc/resolv.conf
docker exec -it <容器> sh -c 'nslookup db; nslookup www.baidu.com 127.0.0.11; nslookup www.baidu.com 8.8.8.8'
# 宿主机 DNS 是否正常(容器解析外网域名依赖它)
cat /etc/resolv.conf
nslookup www.baidu.com
# 指定 DNS 启动容器(宿主机 DNS 不可用时的临时办法)
docker run -d --dns 8.8.8.8 --dns-search example.com nginx
# 全局指定:/etc/docker/daemon.json 里加 dns
# { "dns": ["8.8.8.8", "114.114.114.114"] }
# systemctl restart docker
# 注意:--dns 会覆盖内嵌 DNS,自定义网络里的容器名解析会失效,慎用</pre>
经验:内网 DNS 服务器不稳定时,容器里的解析失败会表现为“时好时坏”,先在宿主机上连续 nslookup 几次确认;--dns 指定的 DNS 只影响外网域名解析,容器名解析仍走内嵌 DNS,两者不要混淆。
四、端口映射不通:publish、防火墙与监听地址
-p 8080:80 映射后从宿主机访问不通,排查顺序是:容器里的服务是不是真的在监听 80、映射关系建没建、宿主机防火墙放没放行、访问时用的地址对不对。特别注意容器里服务只监听了 127.0.0.1 时,宿主机映射进来也访问不到——服务必须监听 0.0.0.0。
<pre class="wp-block-syntaxhighlighter-code"># 容器内:服务在监听吗?监听地址是不是 0.0.0.0
docker exec -it <容器> ss -ltnp
# 映射关系:看宿主机端口与容器端口的对应
docker port <容器>
docker inspect <容器> --format '{{json .NetworkSettings.Ports}}' | python3 -m json.tool
# 宿主机上端口在监听吗(docker-proxy 进程)
ss -ltnp | grep 8080
# 防火墙放行了吗
firewall-cmd --list-ports 2>/dev/null
iptables -L DOCKER -n | grep 8080
# 宿主机本地测通、外部不通:大概率是云厂商安全组或宿主机防火墙没放行
curl -v http://127.0.0.1:8080/ ; curl -v http://<宿主机IP>:8080/</pre>
注意:-p 127.0.0.1:8080:80 只绑定回环地址,外部访问不到是预期行为;docker-proxy 进程挂了会导致映射失效,重启 Docker 恢复;iptables 的 DOCKER 链被清空同样会导致映射失效,与第二节的 NAT 问题同根。
五、overlay 网络与多主机互通:跨节点容器不通
单机 bridge 排障完之后,多主机场景用 overlay 网络(Swarm 或自建),容器跨节点不通的排查要多两步:VXLAN 端口 4789/udp 通不通、overlay 网络的 subnet 有没有与宿主机网段冲突。Swarm 模式下还要看 ingress 网络与服务发现是否正常。
<pre class="wp-block-syntaxhighlighter-code"># overlay 网络信息与跨节点容器 IP
docker network inspect <overlay网络> --format '{{json .IPAM.Config}}' | python3 -m json.tool
# VXLAN 端口通不通(节点之间)
nc -u -vz <对端节点IP> 4789
# Swarm:服务副本分布与 VIP
docker service ls
docker service ps <服务名>
docker service inspect <服务名> --format '{{json .Endpoint.VirtualIPs}}' | python3 -m json.tool
# 看 overlay 的 VXLAN 接口与转发表(宿主机上)
ip link show | grep vxlan
bridge fdb show dev vxlan0 2>/dev/null | head</pre>
经验:overlay 子网与宿主机业务网段重叠是最隐蔽的坑,建网络时显式指定 --subnet 避开已有网段;云上 VXLAN 端口默认可能被安全组拦截,4789/udp 要先放行。
六、MTU 与跨主机封包:小包通、大包不通先查 MTU
最迷惑的一种故障:容器间 ping 能通、curl 小页面能打开,传大文件或大响应就卡住。根因多半是 MTU 不匹配:overlay 网络要在宿主机 MTU 基础上再扣掉 VXLAN 封包的 50 字节,宿主机 MTU 1500、容器里还设 1500,大包一到就被静默丢弃。排查方法是 ping 带 DF 标志测最大包长,再对照 docker network inspect 里的 MTU。
# 容器里测 MTU 上限(-M do 禁止分片,包长从 1500 往下试)
docker exec app ping -M do -s 1472 -c 3 10.0.0.5
docker exec app ping -M do -s 1422 -c 3 10.0.0.5
# 看各网络的 MTU(overlay 正常应比宿主机小 50)
docker network inspect bridge --format '{{json .Options}}'
docker network inspect my-overlay --format '{{json .Options}}'
ip link | grep mtu
# 修复:建 overlay 网络时显式指定 MTU(宿主机 1500 时容器用 1450)
# docker network create -d overlay --opt com.docker.network.driver.mtu=1450 my-overlay
# 宿主机网卡 MTU 不一致时先统一宿主机(改完要重启容器网络才生效)
# ip link set eth0 mtu 1500
MTU 问题还常出现在云服务器上:云厂商的 VPC 有时把 MTU 设成 1450 或 1400,宿主机还是默认 1500,容器一跨节点就丢大包。统一规则是容器网络 MTU = 宿主机 MTU − 封包开销(VXLAN 50、Geneve 60、IPsec 更多),改完网络要重建受影响的容器,只改配置不重建不会生效。
七、抓包与性能定位:进容器的网络名字空间看现场
定位到最后一步,往往要直接抓包:看包到底发出去没有、回包到哪一步断了。容器没有 tcpdump 时,可以进宿主机、找到容器的网络名字空间再抓;也可以在容器里装 tcpdump。性能问题则用 iperf 测容器间带宽,区分是网络慢还是应用慢。
# 容器内抓包(先确认容器里有没有 tcpdump,没有就临时装)
docker exec app apt-get update && docker exec app apt-get install -y tcpdump iperf3
docker exec app tcpdump -i eth0 -n host 10.0.0.5 -c 20
# 宿主机上进容器的网络名字空间抓包(容器里没工具时用这招)
PID=$(docker inspect -f '{{.State.Pid}}' app)
ln -sf /proc/$PID/ns/net /var/run/netns/app
ip netns exec app tcpdump -i eth0 -n -c 20
ip netns exec app ss -tnp
# 容器间带宽:先在目标容器起 iperf 服务端,再从源容器测
docker exec server iperf3 -s -D
docker exec client iperf3 -c 10.0.0.5 -t 10
# 连接跟踪表满了也会表现为间歇性不通
conntrack -C 2>/dev/null; cat /proc/sys/net/netfilter/nf_conntrack_count
抓包时先定过滤条件(host、port),别全量抓——容器流量一大,全量抓包几秒就能把磁盘写满。看包的顺序是 SYN 出去了吗、SYN-ACK 回来了吗、RST 是谁发的,三步就能定性是防火墙、路由还是应用没监听。conntrack 表满的表现是间歇性建连失败,重启容器没用,要扩表或清掉过期表项。
八、排障检查清单
- 先分链路:容器互访、容器出网、DNS 解析、端口映射,四条链路先定是哪条断。
- 互访:同一个自定义网络才能用容器名互访,默认 bridge 只能用 IP。
- 出网:ip_forward=1 + MASQUERADE 规则,iptables -F 会清掉 Docker 规则,别乱清。
- DNS:先看容器内 resolv.conf,容器名走内嵌 DNS,外网域名走宿主机 DNS。
- 端口映射:服务监听 0.0.0.0、映射关系、防火墙、安全组逐段验证。
- 多主机:overlay 子网避开已有网段,4789/udp 先放行。







