可观测性与稳定性 / 系统课时

模拟磁盘空间不足故障

模拟磁盘空间不足故障

这次练习不直接填满服务器真实磁盘,而是创建一个隔离的小型 ext4 文件系统,主动制造高磁盘使用率。你将从 Grafana Dashboard 和 Prometheus 告警中的标签出发,定位到具体主机、挂载点和设备,再用系统命令验证并清理故障。

学习目标

  • 安全制造可观测的磁盘使用率升高场景
  • 根据 instance、mountpoint、device 等信息定位故障文件系统
  • 用 Prometheus 指标与 Linux 命令交叉验证并恢复磁盘空间

在隔离文件系统中制造故障

不要在根分区上直接创建巨型文件。下面使用 256 MiB 镜像文件建立独立 ext4 文件系统,再写入约 200 MiB 数据。即使操作失误,影响范围也被限制在这个测试文件系统内。

bash
set -euo pipefail
IMAGE=/tmp/anystack-disk-test.img
MOUNT=/mnt/anystack-disk-test

sudo mkdir -p "$MOUNT"
sudo truncate -s 256M "$IMAGE"
sudo mkfs.ext4 -F "$IMAGE" >/dev/null
sudo mount -o loop "$IMAGE" "$MOUNT"
sudo fallocate -l 200M "$MOUNT/fill.bin"
df -h "$MOUNT"

预期输出:具体容量会因 ext4 元数据和保留空间略有差异,但使用率应明显升高,设备名中的循环设备编号也可能不同。

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/loop<ID>   <SIZE> <USED> <AVAIL> <PERCENT> /mnt/anystack-disk-test

如果 Node Exporter 直接运行在宿主机并能看到该挂载命名空间,后续抓取时会自动发现这个文件系统。若 Node Exporter 位于容器中,还要确认容器能够看到宿主机对应的挂载点,否则 Prometheus 不会出现该文件系统指标。

从 Dashboard 和告警回到文件系统

磁盘告警真正有价值的信息不是“磁盘快满了”,而是标签告诉你哪台主机、哪个挂载点、哪个设备出了问题。典型定位链路是 Dashboard 异常面板或告警实例 → instance → mountpoint → device → 登录主机执行 df 和目录检查。

磁盘告警到文件系统的定位链路

在 Prometheus 表达式浏览器或 Grafana 查询编辑器中,可以直接计算文件系统使用率。将 <HOST> 和 <PORT> 替换为告警中的实际 instance;如果标签中已经有目标实例,优先直接从告警复制,避免查错服务器。

text
100 * (1 - node_filesystem_avail_bytes{instance="<HOST>:<PORT>",mountpoint="/mnt/anystack-disk-test"} / node_filesystem_size_bytes{instance="<HOST>:<PORT>",mountpoint="/mnt/anystack-disk-test"})

预期结果:查询返回该挂载点当前的磁盘使用百分比,并应与 df 观察到的高使用率趋势一致。Prometheus 与 df 的百分比可能因文件系统保留空间和采集时间不同而存在少量差异。

在主机上验证根因

拿到挂载点后,先验证当前文件系统,再查看占用空间最大的文件。这里明确限制在测试挂载点内,避免跨文件系统扫描整个服务器。

bash
MOUNT=/mnt/anystack-disk-test

df -h "$MOUNT"
sudo du -ahx "$MOUNT" | sort -h | tail -n 5

预期输出:df 显示测试文件系统使用率较高,du 的末尾结果中应包含 fill.bin,其大小约为 200 MiB。

text
<...> /mnt/anystack-disk-test
200M    /mnt/anystack-disk-test/fill.bin
<...>   /mnt/anystack-disk-test

这一步完成了监控证据链:Prometheus 指标指出异常文件系统,告警标签提供定位条件,Linux 命令确认真正占用空间的文件。若 df 很高但 du 找不到对应数据,还应继续检查已删除但仍被进程打开的文件等情况,而不是立即扩大磁盘。

清理并确认告警恢复

删除测试文件后卸载文件系统,再删除镜像文件。清理完成后,Prometheus 下一次抓取将不再看到这个临时挂载点;如果告警规则带有 for 持续时间,还需要等条件恢复并完成相应状态转换。

bash
set -euo pipefail
MOUNT=/mnt/anystack-disk-test
IMAGE=/tmp/anystack-disk-test.img

sudo rm -f "$MOUNT/fill.bin"
df -h "$MOUNT"
sudo umount "$MOUNT"
sudo rm -f "$IMAGE"

预期输出:删除 fill.bin 后,df 显示可用空间明显恢复;umount 和删除镜像成功时通常不会输出额外内容。

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/loop<ID>   <SIZE> <SMALL_USED> <LARGE_AVAIL> <LOW_PERCENT> /mnt/anystack-disk-test

一次完整的磁盘告警演练,应能从图表或告警出发,在不猜测的情况下定位到 instance、mountpoint 和实际占用文件,并在清理后看到指标与告警一起恢复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

模拟磁盘空间不足故障

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通