容器与云原生 / 系统课时
观察指标与 Docker 事件
观察指标与 Docker 事件
容器出现变慢、频繁重启或资源异常时,只看应用日志往往不够。本课把 docker stats、docker events、宿主机资源和应用指标放到同一条时间线上,建立从“发现异常”到“确认资源瓶颈或异常操作”的最小排查方法。
学习目标
- 使用
docker stats判断 CPU、内存、网络和块设备 I/O 是否异常。 - 使用
docker events识别重启、停止、销毁等容器生命周期事件。 - 将容器、宿主机和应用三层指标按时间关联,缩小故障范围。
先判断容器是否资源饱和
docker stats 适合快速查看运行中容器的即时资源消耗。排查时不要只盯单个百分比,而要结合持续时间和业务现象判断:CPU 长时间接近可用上限、内存持续逼近限制,通常比短暂尖峰更值得关注。
先获取一次非交互快照,避免持续刷新的界面干扰记录:
docker stats --no-stream --format 'table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}\t{{.NetIO}}\t{{.BlockIO}}'预期输出
NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O
web 82.41% 486MiB / 512MiB 94.92% <ID>B / <ID>B <ID>B / <ID>B
worker 12.08% 138MiB / 512MiB 26.95% <ID>B / <ID>B <ID>B / <ID>B实际数值会随负载变化。若某容器内存长期接近限制,应继续检查是否发生 OOM;若 CPU 长时间偏高,则需要结合应用请求量、线程或进程状态判断是正常繁忙还是异常消耗。
用 Docker 事件确认发生了什么
资源曲线告诉你“什么时候异常”,docker events 则能回答“Docker 在那个时间点执行了什么动作”。它会输出容器创建、启动、停止、退出、销毁以及健康状态变化等事件,非常适合确认自动重启或人为操作。
下面观察最近一段时间内的容器事件:
docker events --since 10m --filter type=container --format '{{.Time}} {{.Action}} {{.Actor.Attributes.name}}'预期输出
<TIME> die web
<TIME> start web
<TIME> health_status: healthy web这里最有价值的是事件顺序。例如 die 后紧跟 start,说明容器确实发生过退出和再次启动;如果部署期间出现 stop、destroy、create、start,则更像正常发布流程,而不是进程自身崩溃。

补上宿主机与应用两层证据
容器指标不能代替宿主机指标。多个容器可能同时因为宿主机 CPU 饱和、内存压力或磁盘 I/O 阻塞而变慢,此时单个容器并不是根因。Linux 主机上可以用系统工具检查整体资源,再与容器异常时间对齐。例如快速查看内存和系统负载:
free -h
uptime预期输出
total used free shared buff/cache available
Mem: <ID>G <ID>G <ID>G <ID>M <ID>G <ID>G
Swap: <ID>G <ID>G <ID>G
<TIME> up <ID> days, <ID> users, load average: <ID>, <ID>, <ID>如果宿主机资源正常,而容器 CPU、内存也没有明显异常,就应继续查看应用层指标,例如请求延迟、错误率、队列积压或连接池使用率。这样可以避免把数据库慢查询、外部依赖超时等问题误判成 Docker 资源问题。
建立固定的关联顺序
遇到线上异常时,可以保持同一排查顺序:先记录故障发生时间,再看应用指标确认用户影响范围;随后看 docker stats 判断单容器资源;再查 docker events 判断是否发生退出、重启或人为操作;最后检查宿主机是否存在全局资源压力。
如果指标和事件来自不同系统,首先确认时区和时间同步是否一致。时间偏差会让原本相关的事件看起来毫无联系。