操作系统 / 系统课时

构建一套内存排障命令集

构建一套内存排障命令集

线上出现“内存高”时,不能只凭 RSS 下结论。本节把 free、vmstat、top、pmap、smaps、perf、dmesg 排成证据链:先判断主机压力,再定位映射、缺页与 OOM,最终形成可复用采集脚本。

学习目标

  • 按“主机压力 → 进程占用 → 映射来源 → 缺页行为 → 内核事件”的顺序排查内存问题。
  • 能区分可用内存不足、单进程 RSS 增长、页错误频繁和 OOM Kill 这几类现象。
  • 能用一组只读命令快速保留现场,并知道哪些命令可能受权限限制。

把命令排成证据链

free 和 vmstat回答“整机是否缺内存”;top回答“谁在占”;pmap 与 /proc/<PID>/smaps回答“占用来自哪些映射”;perf回答“进程是否在持续制造缺页”;dmesg最终确认内核是否发生过 OOM。不要跳过前两层,否则很容易把正常的页缓存或共享库误判成泄漏。

Linux 内存排障证据链

第一条判断线是“压力”而不是“已用百分比”。free -h重点看 available 与 Swap,vmstat 1 5重点看 si、so 是否持续非零以及系统是否伴随明显阻塞。Linux 会积极使用空闲内存做缓存,所以 free 很低并不等于内存耗尽。

锁定进程与映射来源

找到目标进程后,先用 top确认 RES、VIRT 与 CPU 是否同步变化,再用 pmap -x查看各虚拟映射的大小、RSS 和 Dirty。若要区分共享页、私有页、匿名页与 Swap,继续读取 smaps 或内核提供的 smaps_rollup。

其中,RSS 表示当前驻留物理内存,但共享页会被多个进程重复计入;PSS 会按共享比例摊分,更适合估算一个进程对整机物理内存的实际贡献。Private_Dirty 持续上涨通常比单看 RSS 更值得追踪,但仍要结合业务行为和时间序列判断。

用缺页和内核日志验证假设

RSS 上升可能只是进程第一次触碰已经分配的虚拟页。perf stat 可以短时间统计 minor fault 与 major fault:前者通常只需建立页表或复用已有页,后者往往需要从存储取页,代价更高。若故障表现是“突然被杀”,则必须回到 dmesg 查找 OOM 记录,而不是只依赖应用日志。

perf 受 kernel.perf_event_paranoid 等安全策略限制;dmesg 也可能只允许 root 读取。权限不足本身不是“没有问题”的证据,应记录为采集限制。

固化成一次现场采集

下面脚本接收一个 PID,把七类证据一次性输出到当前目录。它不修改目标进程,只进行读取和短时统计;perf、pmap 或 dmesg 不可用时会保留提示并继续采集。

bash
#!/usr/bin/env bash
set -u

PID="${1:-}"
if [[ ! "$PID" =~ ^[0-9]+$ ]] || [[ ! -d "/proc/$PID" ]]; then
  echo "用法: $0 <PID>" >&2
  exit 2
fi

OUT="mem-triage-${PID}.txt"

{
  echo "== free =="
  free -h

  echo
  echo "== vmstat =="
  vmstat 1 3

  echo
  echo "== top =="
  top -b -n 1 -p "$PID" | head -n 12

  echo
  echo "== pmap =="
  if command -v pmap >/dev/null 2>&1; then
    pmap -x "$PID"
  else
    echo "pmap not installed"
  fi

  echo
  echo "== smaps summary =="
  if [[ -r "/proc/$PID/smaps_rollup" ]]; then
    grep -E '^(Rss|Pss|Private_Clean|Private_Dirty|Shared_Clean|Shared_Dirty|Swap):'       "/proc/$PID/smaps_rollup"
  elif [[ -r "/proc/$PID/smaps" ]]; then
    awk '
      /^(Rss|Pss|Private_Clean|Private_Dirty|Shared_Clean|Shared_Dirty|Swap):/ {
        sum[$1] += $2
      }
      END {
        for (k in sum) print k, sum[k], "kB"
      }
    ' "/proc/$PID/smaps"
  else
    echo "smaps not readable"
  fi

  echo
  echo "== page faults for 5s =="
  if command -v perf >/dev/null 2>&1; then
    perf stat --timeout 5000 -e page-faults,minor-faults,major-faults -p "$PID" || true
  else
    echo "perf not installed"
  fi

  echo
  echo "== oom evidence =="
  if dmesg >/dev/null 2>&1; then
    dmesg -T | grep -Ei 'out of memory|oom-kill|killed process' | tail -n 20 || true
  else
    echo "dmesg not readable; retry with sufficient privileges"
  fi
} 2>&1 | tee "$OUT"

预期输出

text
== free ==
Mem:  <TOTAL>  <USED>  <FREE>  <SHARED>  <BUFF_CACHE>  <AVAILABLE>
Swap: <TOTAL>  <USED>  <FREE>

== vmstat ==
procs ... memory ... swap ... io ... system ... cpu ...
<VALUES>

== top ==
top - <TIME> ...
<PID> ... <RES> ... <COMMAND>

== smaps summary ==
Rss: <KB> kB
Pss: <KB> kB
Private_Dirty: <KB> kB
Swap: <KB> kB

== page faults for 5s ==
<COUNT>      page-faults
<COUNT>      minor-faults
<COUNT>      major-faults

== oom evidence ==
<NO_MATCH_OR_KERNEL_OOM_LINES>

实际数值、时间和日志格式会随机器、内核与进程状态变化。脚本结束后,应先看 available、Swap 与 vmstat 的换入换出,再看目标进程的 RES/PSS/Private_Dirty,最后用缺页与 OOM 日志验证原因。这样得到的是一条能复查的证据链,而不是某个瞬间的单一指标。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建一套内存排障命令集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通