Linux 与服务器运维 / 系统课时
大量小 IO 为什么容易变慢
大量小 IO 为什么容易变慢
磁盘性能不能只看每秒传输了多少 MB。同样是读写数据,连续的大块 IO 可以用较少请求搬运大量字节,而随机的 4 KiB 小 IO 需要处理更多独立操作。排障时同时观察吞吐量、IOPS 和延迟,才能解释“带宽没跑满却已经很慢”的现象。
学习目标
- 理解吞吐量、IOPS 和延迟分别描述什么性能问题
- 解释顺序大块 IO 与随机小块 IO 为什么会表现不同
- 根据线上指标判断系统是否受到大量小 IO 限制
三个指标回答不同问题
吞吐量表示单位时间搬运了多少数据,常用 MiB/s 或 GiB/s;IOPS表示每秒完成多少次 IO 操作;延迟表示单次 IO 从提交到完成花了多长时间。它们相关,但不能互相替代。
近似关系可以写成:吞吐量 ≈ IOPS × 单次 IO 大小。假设设备每秒完成 10,000 次 4 KiB IO,对应吞吐量只有约 39 MiB/s。即使磁盘标称顺序读取可以达到数百 MiB/s,这种工作负载也可能已经受到 IOPS 或延迟限制。
| 指标 | 主要回答的问题 | 小 IO 场景中的意义 |
|---|---|---|
| 吞吐量 | 每秒搬运多少数据 | 可能不高,但不能据此判断设备空闲 |
| IOPS | 每秒完成多少请求 | 小块请求越多,对 IOPS 能力要求越高 |
| 延迟 | 单次请求要等多久 | 队列积压后通常最先影响应用响应时间 |
为什么随机小 IO 成本更高
顺序大块读取可以让一个 IO 请求连续取得大量数据,固定的软件栈、设备命令和队列管理成本被更多字节分摊。机械硬盘还可以减少寻道和旋转等待,因此顺序访问与随机访问之间的差距尤其明显。
SSD 没有机械寻道,但小 IO 仍要经过系统调用、文件系统、块层队列、设备命令以及控制器处理。随机写还可能触发闪存转换层映射、垃圾回收或写放大。因此“SSD 不怕随机 IO”并不意味着大量小请求没有成本。
当应用把一次 1 MiB 操作拆成 256 次 4 KiB 操作时,总字节数虽然相同,请求数量却放大了 256 倍。设备一旦无法及时完成这些请求,队列会增长,单次 IO 延迟随之升高,最终表现为数据库查询、文件访问或接口响应变慢。
用 fio 对比两种访问模式
可以在专门的测试目录中用 fio 做只读对比。下面分别使用 1 MiB 顺序读取和 4 KiB 随机读取,其他主要条件保持一致。<PATH> 必须替换为允许测试的文件系统路径,不要直接对生产数据库文件或原始块设备运行基准测试。
TEST_FILE=<PATH>/fio-demo.bin
fio --name=prepare --filename="$TEST_FILE" --size=1G --rw=write --bs=1M --direct=1 --end_fsync=1
fio --name=seq-read --filename="$TEST_FILE" --size=1G --rw=read --bs=1M --direct=1 --runtime=15 --time_based --group_reporting
fio --name=rand-4k --filename="$TEST_FILE" --size=1G --rw=randread --bs=4k --direct=1 --runtime=15 --time_based --group_reporting
rm -f "$TEST_FILE"预期结果(具体数值由设备和文件系统决定):
prepare: WRITE: bw=<THROUGHPUT>, ...
seq-read: READ: bw=<THROUGHPUT>, ...
rand-4k: READ: bw=<THROUGHPUT>, ...在完整的 fio 输出中还会看到每个读取任务的 IOPS 和延迟统计。通常顺序 1 MiB 读取更容易获得较高吞吐量;随机 4 KiB 读取则会产生远多于大块 IO 的独立请求,评价重点应转向 IOPS 和延迟。不要拿示例中的两个模式直接判断设备“好或坏”,它们代表的是不同工作负载。
在线排障时怎么看
线上可以用 iostat -x 1 结合业务现象观察设备。若 r/s、w/s 很高,而 rkB/s、wkB/s 并没有同步达到很高水平,通常说明平均每次 IO 较小;如果同时 await 上升、队列持续堆积,就更符合小 IO 压力导致延迟恶化的特征。
数据库随机查询、大量小文件扫描、频繁同步写日志以及碎片化的缓存落盘,都可能形成这种模式。优化方向通常不是单纯追求更高 MB/s,而是减少请求次数、合并写入、提高批量大小、改善访问局部性,或者让缓存吸收不必要的存储访问。
还应避免只依赖 %util 判断现代 SSD 或 NVMe 是否饱和。多队列设备可以并行处理多个请求,单个利用率指标无法完整描述其性能上限。把吞吐量、IOPS、延迟、队列深度以及应用响应时间放在一起看,才能判断真正的瓶颈是带宽不足,还是大量小 IO 把设备的请求处理能力耗尽。