Linux 与服务器运维 / 技术文章
磁盘 IO 打满怎么快速定位
线上请求变慢时,先按时间对齐业务延迟和磁盘指标。带宽、每秒完成请求数、队列等待、进程写入和云盘配额可能表现出相似症状,排查应从受影响的路径出发。
找到实际承载数据的设备
将下面的路径替换为服务的日志或数据目录。先确认挂载关系,再沿 LVM、RAID、虚拟磁盘等设备层核对统计;同一批请求可能同时计入上层和下层,不能把各层吞吐相加。
findmnt -T /var/log
df -hT -- /var/log
lsblk -o NAME,TYPE,PKNAME,SIZE,MOUNTPOINTS
iostat -x -y 1 5iostat 来自 sysstat。带采样间隔时,-y 跳过从开机累计的第一份报表,后续用现场区间数据。查看同一设备、同一时间段内的:
| 指标 | 含义 | 怎样验证 |
|---|---|---|
r/s、w/s |
每秒完成的读写请求数 | 对照 IOPS 配额和单次请求大小 |
rkB/s、wkB/s |
每秒读写量 | 对照设备或云盘吞吐配额 |
r_await、w_await |
已完成请求的平均时间,含排队与处理 | 对照业务尾延迟和队列,必要时取延迟分布 |
aqu-sz |
区间平均队列长度 | 与延迟一起判断是否积压 |
%util |
区间中设备有 I/O 活动的时间比例 | 串行设备接近 100% 更能提示饱和,多队列 SSD、RAID 或虚拟设备还要结合并发与配额 |
请求量高而吞吐偏低时,先检查平均请求大小。队列和等待同时升高时,检查是否有突发并发或限速。请求量不大而少量请求仍很慢时,继续查设备、回写、虚拟化或远端存储。平均值可能掩盖尾部慢请求。iostat 手册
核对进程和文件
可以先用 pidstat -d 1 5 观察进程 I/O 区间速率。确定目标后再定向观察,例如:
pid=1234
pidstat -d -p "$pid" 1 5
cat "/proc/$pid/io"
lsof -p "$pid"pid 需替换为现场确认的 PID,权限不足时应使用获准的观测权限。rchar、wchar 是系统调用返回的字节数,可能包含页缓存和非磁盘 I/O。read_bytes、write_bytes 描述进程在存储层归属的字节数,异步回写、写入取消和底层合并会使它们与设备同秒完成量不同。lsof 可查进程当前打开的文件,需要再用应用日志、数据库指标或针对性追踪核实活跃路径。Linux /proc/PID/io 手册
用间隔差值比较进程速率
把下面代码保存为 io-rate.py,运行 python3 io-rate.py 1234。它读取现有进程的统计,休眠一秒后计算差值。两个快照应对应同一个仍存活的进程。
from pathlib import Path
import sys
import time
if len(sys.argv) != 2 or not sys.argv[1].isdecimal() or int(sys.argv[1]) <= 0:
raise SystemExit("用法: python3 io-rate.py PID")
base = Path("/proc") / str(int(sys.argv[1]))
fields = ("rchar", "wchar", "read_bytes", "write_bytes")
def snapshot():
# stat 的 comm 字段可能含空格,从末尾的 ')' 之后开始计字段。
start_time = (base / "stat").read_text().rsplit(")", 1)[1].split()[19]
lines = (base / "io").read_text().splitlines()
counters = dict(line.split(":", 1) for line in lines)
return start_time, {name: int(counters[name]) for name in fields}
try:
start1, before = snapshot()
t1 = time.monotonic()
time.sleep(1)
start2, after = snapshot()
t2 = time.monotonic()
except (OSError, KeyError, IndexError, ValueError) as error:
raise SystemExit(f"无法读取同一进程的 I/O 统计: {error}")
if start1 != start2 or any(after[name] < before[name] for name in fields):
raise SystemExit("进程可能已重启或计数失效,请重新取样")
for name in fields:
rate = (after[name] - before[name]) / (t2 - t1) / 1024
print(f"{name}: {rate:.1f} KiB/s")这只是一个时间窗口。排障时应连续采集多个窗口,并对齐应用请求耗时、批处理、数据库刷盘和日志轮转事件。
没有单个高 I/O 进程时
检查 /proc/pressure/io 以及可用的 cgroup v2 io.pressure,了解有多少时间出现任务因 I/O 停顿。some 表示至少有一项任务因 I/O 停顿,full 表示所有非空闲任务同时停顿。PSI 能帮助关联业务受影响的时间,不能据此识别是哪块盘、哪类请求或哪个进程。Linux PSI 文档
如果进程归属不突出而设备队列或延迟持续升高,可继续对照多个服务的回写、io.stat、虚拟化或云存储的节流指标。空间和 inode 用量可另查 df -h、df -i。发现某个服务读写量高后,用任务记录和实际延迟回查它是否与故障同窗。记录受影响路径、设备层、采样窗口和变化前后对照,再选择缓解或扩容措施。