Linux 与服务器运维 / 系统课时

怎么找到疯狂读写磁盘的进程

怎么找到疯狂读写磁盘的进程

当磁盘持续繁忙、服务响应变慢时,先不要根据进程名猜原因。更可靠的做法是测量每个进程的实际读写速率,锁定持续制造 IO 的 PID,再追踪它访问的文件,并结合日志、数据库任务或业务操作判断为什么会产生这些读写。

学习目标

  • 使用进程级 IO 指标定位持续大量读写磁盘的 PID
  • 区分瞬时读写速率与进程累计 IO,避免被短暂峰值误导
  • 从 PID 追踪到文件和启动命令,并在修复后验证 IO 是否下降

先找到持续读写的 PID

pidstat 的磁盘统计适合先做排名式排查。它属于 sysstat 工具集,-d 显示任务级磁盘 IO,后面的 1 5 表示每秒采样一次,共采样五次。不要只看第一行峰值,应关注同一个 PID 是否连续多个采样周期都保持较高读写速率。

bash
pidstat -d -p ALL 1 5

预期输出(列会随 sysstat 版本略有差异):

text
<TIME> UID       PID   kB_rd/s   kB_wr/s   kB_ccwr/s  iodelay  Command
<TIME> <UID>     <ID>  <READ_RATE> <WRITE_RATE> <CANCEL_RATE> <DELAY>  <COMMAND>

kB_rd/s 和 kB_wr/s 分别反映采样周期中的读写速率。某个进程持续明显高于其他进程时,应把它作为下一步调查对象。iodelay 可辅助发现任务等待块设备 IO 的情况,但不同内核和统计环境下不能只凭这一列下结论。

用累计字节确认它是否还在写

找到可疑 PID 后,可以连续读取 /proc/<PID>/io。其中 read_bytes 和 write_bytes 是进程实际提交到底层存储相关路径的累计字节数,比单纯看应用层 read()、write() 调用更接近磁盘活动。

bash
PID=<ID>
grep -E '^(read_bytes|write_bytes):' "/proc/$PID/io"
sleep 1
grep -E '^(read_bytes|write_bytes):' "/proc/$PID/io"

预期输出:

text
read_bytes: <BYTES>
write_bytes: <BYTES>
read_bytes: <BYTES>
write_bytes: <BYTES>

如果第二次的数值明显增加,说明该进程在这一秒内仍然产生对应方向的存储 IO。这里看到的是累计值,所以要比较两次采样的差值,而不是比较不同 PID 的绝对总量。已经运行数天的正常进程,其累计值可能天然比刚启动的异常进程更大。

从 PID 追到具体文件和业务

确认进程确实持续读写后,再检查它是什么程序以及打开了哪些文件。这样才能区分日志暴涨、数据库写入、备份任务、临时文件生成等完全不同的根因。

bash
PID=<ID>
ps -p "$PID" -o pid=,comm=,args=
sudo ls -l "/proc/$PID/fd" | head -n 12

预期输出:

text
<ID> <COMMAND> <FULL_COMMAND>
lr-x------ ... -> <PATH>
l-wx------ ... -> <PATH>
lrwx------ ... -> <PATH>

文件描述符指向日志文件时,应继续检查日志增长速度以及是否出现重复报错;指向数据库数据文件或 WAL、redo 等文件时,要结合数据库内部活动确认是否正在执行批量写入、检查点或压缩;如果是备份、同步或扫描程序,则要核对任务计划和业务执行时间。

常见根因与验证顺序

日志错误循环是很常见的高写入来源:程序本身可能只占少量 CPU,却因为每秒打印大量错误导致磁盘繁忙。数据库批处理、缓存落盘、索引构建和备份任务则可能产生大量正常 IO,此时问题不是“谁在写”,而是任务是否应该在当前时间和速度下运行。

还要注意,被发现的进程不一定就是最终根因。例如应用不断创建临时文件,真正占用块设备的可能同时包含文件系统回写线程。排查时应把进程 IO、打开文件、业务日志和任务时间点放在一起判断,而不是看到一个高写入 PID 就立即终止它。

修复后再次执行相同的 pidstat -d -p ALL 1 5 采样。目标进程的读写速率应明显回落,同时业务延迟和磁盘等待也应改善。只有“可疑进程消失”而磁盘仍然繁忙时,说明还存在其他 IO 来源,需要继续按同样方法定位。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎么找到疯狂读写磁盘的进程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通