容器与云原生 / 系统课时

观察指标与 Docker 事件

观察指标与 Docker 事件

容器出现变慢、频繁重启或资源异常时,只看应用日志往往不够。本课把 docker stats、docker events、宿主机资源和应用指标放到同一条时间线上,建立从“发现异常”到“确认资源瓶颈或异常操作”的最小排查方法。

学习目标

  • 使用 docker stats 判断 CPU、内存、网络和块设备 I/O 是否异常。
  • 使用 docker events 识别重启、停止、销毁等容器生命周期事件。
  • 将容器、宿主机和应用三层指标按时间关联,缩小故障范围。

先判断容器是否资源饱和

docker stats 适合快速查看运行中容器的即时资源消耗。排查时不要只盯单个百分比,而要结合持续时间和业务现象判断:CPU 长时间接近可用上限、内存持续逼近限制,通常比短暂尖峰更值得关注。

先获取一次非交互快照,避免持续刷新的界面干扰记录:

bash
docker stats --no-stream --format 'table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}\t{{.MemPerc}}\t{{.NetIO}}\t{{.BlockIO}}'

预期输出

text
NAME        CPU %     MEM USAGE / LIMIT     MEM %     NET I/O        BLOCK I/O
web         82.41%    486MiB / 512MiB       94.92%    <ID>B / <ID>B  <ID>B / <ID>B
worker      12.08%    138MiB / 512MiB       26.95%    <ID>B / <ID>B  <ID>B / <ID>B

实际数值会随负载变化。若某容器内存长期接近限制,应继续检查是否发生 OOM;若 CPU 长时间偏高,则需要结合应用请求量、线程或进程状态判断是正常繁忙还是异常消耗。

用 Docker 事件确认发生了什么

资源曲线告诉你“什么时候异常”,docker events 则能回答“Docker 在那个时间点执行了什么动作”。它会输出容器创建、启动、停止、退出、销毁以及健康状态变化等事件,非常适合确认自动重启或人为操作。

下面观察最近一段时间内的容器事件:

bash
docker events --since 10m --filter type=container --format '{{.Time}} {{.Action}} {{.Actor.Attributes.name}}'

预期输出

text
<TIME> die web
<TIME> start web
<TIME> health_status: healthy web

这里最有价值的是事件顺序。例如 die 后紧跟 start,说明容器确实发生过退出和再次启动;如果部署期间出现 stop、destroy、create、start,则更像正常发布流程,而不是进程自身崩溃。

容器指标与事件关联示意

补上宿主机与应用两层证据

容器指标不能代替宿主机指标。多个容器可能同时因为宿主机 CPU 饱和、内存压力或磁盘 I/O 阻塞而变慢,此时单个容器并不是根因。Linux 主机上可以用系统工具检查整体资源,再与容器异常时间对齐。例如快速查看内存和系统负载:

bash
free -h
uptime

预期输出

text
               total        used        free      shared  buff/cache   available
Mem:            <ID>G        <ID>G        <ID>G        <ID>M        <ID>G        <ID>G
Swap:           <ID>G        <ID>G        <ID>G
<TIME> up <ID> days,  <ID> users,  load average: <ID>, <ID>, <ID>

如果宿主机资源正常,而容器 CPU、内存也没有明显异常,就应继续查看应用层指标,例如请求延迟、错误率、队列积压或连接池使用率。这样可以避免把数据库慢查询、外部依赖超时等问题误判成 Docker 资源问题。

建立固定的关联顺序

遇到线上异常时,可以保持同一排查顺序:先记录故障发生时间,再看应用指标确认用户影响范围;随后看 docker stats 判断单容器资源;再查 docker events 判断是否发生退出、重启或人为操作;最后检查宿主机是否存在全局资源压力。

如果指标和事件来自不同系统,首先确认时区和时间同步是否一致。时间偏差会让原本相关的事件看起来毫无联系。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

观察指标与 Docker 事件

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通