Linux 与服务器运维 / 知识点
Linux 性能诊断命令速查
快速判断系统瓶颈
uptime [options]查看系统运行时长、登录用户数及最近 1、5、15 分钟负载平均值;适合性能告警后的第一眼判断,但负载升高并不等同于 CPU 使用率升高。
查看系统负载
性能告警后先用 uptime 判断主机当前负载处于上升、下降还是相对稳定状态。它能快速给出运行时长、登录用户数和最近 1、5、15 分钟的 load average,但不能单独证明 CPU 已经打满。
基本语法
命令 synopsis 为 uptime [options]。直接执行 uptime 即可完成快速判断;-p 只显示易读的运行时长,-s 显示系统启动时间,适合需要确认重启时间时使用。
读取负载
uptime预期输出:
<TIME> up <TIME>, <N> users, load average: <LOAD_1M>, <LOAD_5M>, <LOAD_15M>实际时间、用户数和负载值会随主机变化。三个负载值依次对应最近 1、5、15 分钟:1 分钟值明显高于 15 分钟值通常表示压力正在上升,反之则可能正在回落。
判断边界
Linux 的 load average 统计等待 CPU 的可运行任务,也会受到不可中断睡眠任务影响,例如部分 I/O 等待场景。因此高负载不等于高 CPU 使用率;还应结合 CPU 数量、top、vmstat 或 I/O 指标定位真正瓶颈。
风险与恢复
uptime 只读,不会修改系统状态。误判时无需恢复操作;应继续采样并交叉检查 CPU、I/O 与进程状态,避免根据单次负载值直接重启服务或主机。
top [options]实时观察 CPU、内存、负载和进程排序,适合快速发现异常进程并确认资源变化趋势;瞬时排名易波动,应结合持续采样和其他指标判断。
实时查看资源热点
发现主机负载、CPU 或内存异常时用 top 观察系统汇总指标和进程热点。它适合快速找到“谁正在消耗资源”,但单次排名只是采样快照,应连续观察后再决定是否处理进程。
基本语法
命令 synopsis 为 top [options]。交互模式直接运行 top;常用选项包括 -d <SECONDS> 调整刷新间隔、-p <PID> 只观察指定进程、-b 使用批处理模式、-n <N> 限制刷新次数。
交互界面中可按 P 按 CPU 排序、按 M 按内存排序、按 1 展开每个逻辑 CPU,按 q 退出。
抓取一次快照
top -b -n 1预期输出:
top - <TIME> up <TIME>, <N> users, load average: <LOAD_1M>, <LOAD_5M>, <LOAD_15M>
Tasks: <N> total, <N> running, <N> sleeping, <N> stopped, <N> zombie
%Cpu(s): <CPU_FIELDS>
MiB Mem : <MEM_FIELDS>
MiB Swap: <SWAP_FIELDS>
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
<ID> <USER> <PR> <NI> <VIRT> <RES> <SHR> <S> <CPU> <MEM> <TIME> <COMMAND>实际数值、单位显示和列宽会受主机及 procps-ng 配置影响。先看 load average、CPU 的 idle 与 wait、可用内存,再看进程列表中的 %CPU、%MEM、状态和命令名。
判断热点
CPU 排名前列的进程持续占高,才值得继续下钻到线程或调用栈;内存排名高时同时关注 RES,不要只看 VIRT。若系统很卡但 CPU idle 仍高,应继续检查 I/O 等待、锁等待或不可中断睡眠任务,而不是只追最高 CPU 进程。
风险与恢复
top 本身只读,退出即可停止采样。若后续根据热点进程采取终止或重启动作,应先记录 PID、命令行和服务归属,并优先使用服务管理器执行可恢复的操作。
vmstat [options] [delay [count]]连续观察运行队列、阻塞进程、内存、换页、I/O 与 CPU 时间分布;适合判断问题偏向计算、内存还是磁盘,首行通常是启动以来平均值。
观察整体运行队列
当系统变慢但还不能确定是 CPU、内存还是 I/O 问题时,用 vmstat 连续采样。重点把 r、b、si/so、wa 和 CPU 时间放在同一时间窗口内观察,而不是依据单个瞬时值下结论。
基本语法
vmstat [options] [delay [count]]delay:两次报告之间的秒数;省略时只输出一次。count:输出报告次数;指定delay但省略count时会持续输出,直到手动停止。-w:使用较宽的输出格式,数值较大时更易阅读。-S M:以 MiB 为内存相关字段的显示单位;不同单位只改变显示,不改变采样含义。
关键字段
r 表示可运行进程数,可与逻辑 CPU 数量一起判断运行队列压力;b 表示处于不可中断睡眠状态的进程数,持续升高时常需继续检查存储或设备等待。
si、so 分别反映换入和换出活动,持续出现换出通常比单纯的低 free 更值得关注。CPU 区域中,us 是用户态时间,sy 是内核态时间,id 是空闲时间,wa 是等待 I/O 的时间,st 是虚拟化环境中的被窃取时间。
连续采样
vmstat 1 10预期输出:第一条数据通常表示自系统启动以来的平均情况,随后各条按约 1 秒间隔采样;实际数值随负载变化。
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
<N> <N> <N> <N> <N> <N> <N> <N> <N> <N> <N> <N> <N> <N> <N> <N> <N>
...读取时优先看后续采样行:若 r 长时间明显高于可用逻辑 CPU 数且 id 很低,瓶颈更偏向计算;若 wa、b 同时持续偏高,应继续检查块设备延迟;若 si/so 持续活跃,则需要结合内存压力继续确认是否发生频繁换页。
风险与边界
vmstat 适合快速分流,不能单独定位具体进程或具体磁盘。短暂的 r、wa 或 si/so 峰值不等于故障,应结合连续样本和业务延迟判断;需要找热点进程或设备时,再转向进程级和磁盘级工具。
free [options]快速查看物理内存、缓存、可用内存与 Swap 使用情况;排障时应重点关注 available 和持续换页,而不是把 buff/cache 简单视为内存泄漏。
查看内存总体使用
当需要快速判断主机是否真的接近内存耗尽、缓存占用了多少空间以及 Swap 是否已被使用时,用 free 查看总体状态。排障时重点读取 available,不要把 free 很小或 buff/cache 很大直接等同于内存不足。
基本语法
free [options]-h:按适合人工阅读的单位自动显示容量。-w:将 buffers 与 cache 分开显示,适合需要进一步区分缓存组成时使用。-s <seconds>:按指定秒数重复刷新;可配合-c <count>限制输出次数。
关键字段
total 是可供系统管理的总内存,used 表示已使用或当前不可用的内存,free 是完全未使用的内存。Linux 会主动利用空闲内存作为缓存,因此单看 free 很容易误判。
buff/cache 包含可用于缓存用途的内存;其中相当一部分在应用需要内存时可以回收。available 是内核估算的、在不发生交换的情况下仍可供新应用使用的内存,因此通常比 free 更适合快速判断剩余余量。不同 procps-ng 与内核版本的列展示可能略有差异。
查看当前状态
free -h预期输出:会看到物理内存的 Mem: 行和交换空间的 Swap: 行;容量取决于当前主机,以下仅表示字段结构。
total used free shared buff/cache available
Mem: <SIZE> <SIZE> <SIZE> <SIZE> <SIZE> <SIZE>
Swap: <SIZE> <SIZE> <SIZE>读取时先看 available 是否持续逼近很低水平,再看 Swap 的 used 是否增加。Swap 已有占用本身不一定表示当前正在抖动;若要确认是否持续换页,应结合 vmstat 的 si、so 连续采样。
风险与边界
不要因为 buff/cache 较大就直接判断为内存泄漏,也不要只凭一次 free -h 判断内存压力。free 提供的是系统级快照,无法指出哪个进程消耗了内存;确认总体压力后,还需要使用进程级指标定位具体消费者。
ps -eo pid,ppid,comm,%cpu,%mem --sort=-%cpu按 CPU 使用率排序列出进程及父子关系,适合从系统级异常快速定位候选进程;该结果是采样值,短生命周期任务可能需要结合 pidstat 持续观察。
找出高 CPU 进程
当主机 CPU 使用率、运行队列或负载异常升高时,用这条 ps 命令快速把高 CPU 候选进程排到前面,同时保留 PID、父 PID 和命令名,便于继续追踪进程来源。它是只读查询,不会修改进程状态。
基本语法
ps -eo pid,ppid,comm,%cpu,%mem --sort=-%cpu预期结果:输出所有当前可见进程,并按 %CPU 从高到低排列。PID 和利用率会随机器与执行时刻变化。
PID PPID COMMAND %CPU %MEM
<ID> <ID> <COMMAND> <CPU_PCT> <MEM_PCT>
<ID> <ID> <COMMAND> <CPU_PCT> <MEM_PCT>关键字段
pid:进程 ID,用于后续定位目标进程。ppid:父进程 ID,可判断进程由哪个服务、Shell 或管理进程拉起。comm:可执行文件名,不包含完整命令行参数。%cpu:进程 CPU 时间相对其运行时长的百分比;在 procps-ng 的ps中它不是最近一秒的瞬时 CPU 采样值。%mem:进程常驻内存相对物理内存的百分比,仅作为辅助信息。--sort=-%cpu:前导-表示按 CPU 使用率降序排序。
高频用法
ps -eo pid,ppid,comm,%cpu,%mem --sort=-%cpu | head -20预期结果:保留表头以及排序后的前若干行;由于 head -20 会把表头计入 20 行,通常最多显示 19 个进程。
PID PPID COMMAND %CPU %MEM
<ID> <ID> <COMMAND> <CPU_PCT> <MEM_PCT>
<ID> <ID> <COMMAND> <CPU_PCT> <MEM_PCT>
...先记录排名靠前的 <ID>,再结合持续采样工具观察它是否长期占用 CPU。短生命周期进程可能在两次查询之间已经退出,因此一次 ps 结果不能单独证明持续性故障。
风险与边界
这条命令本身没有终止或降优先级操作,适合线上快速排查。不要仅凭某一次 %CPU 排名直接结束进程;还应确认进程职责、父进程以及异常是否持续。在容器或受限 PID namespace 中,ps 只能看到当前命名空间允许查看的进程,结果未必代表整台宿主机。
ps -eo pid,ppid,comm,%cpu,%mem,rss,vsz --sort=-%mem按内存占用排序查看进程的 RSS、VSZ 与百分比,适合筛选内存热点;VSZ 包含大量虚拟地址空间,判断真实压力时应优先结合 RSS 与系统可用内存。
找出高内存进程
这条命令适合在可用内存下降、Swap 开始增长或怀疑服务内存持续膨胀时,先把占用物理内存较多的进程筛出来。判断候选时重点看 RSS,VSZ 只用于理解虚拟地址空间规模,不能直接当成实际 RAM 占用。
先把内存热点排出来
ps -eo pid,ppid,comm,%cpu,%mem,rss,vsz --sort=-%mem | head -20预期输出:表头之后按 %MEM 从高到低列出进程;PID、百分比和内存大小均取决于当前系统状态。
PID PPID COMMAND %CPU %MEM RSS VSZ
<ID> <ID> <COMMAND> <CPU_PCT> <MEM_PCT> <RSS_KIB> <VSZ_KIB>
<ID> <ID> <COMMAND> <CPU_PCT> <MEM_PCT> <RSS_KIB> <VSZ_KIB>
...head -20 会把表头算作一行,因此通常最多看到 19 个进程。若要查看完整排序结果,去掉管道后的 head -20 即可。
结果里先看 RSS,再看 VSZ
rss 是 Resident Set Size,表示当前驻留在物理内存中的进程页规模,procps-ng 的 ps 通常以 KiB 输出。它比 VSZ 更接近排查物理内存压力时需要关注的指标,但其中可能包含共享页,因此不能把所有进程 RSS 简单相加当作系统真实已用内存。
vsz 是进程的虚拟地址空间总量,可能包含共享库、内存映射文件以及已预留但尚未实际驻留的地址空间。JVM、数据库和大量使用 mmap 的程序经常出现 VSZ 很大而 RSS 并不异常的情况。
%mem 用于本命令排序,可以快速找候选;pid 与 ppid 则帮助确认进程身份及其父进程,避免只凭进程名判断来源。
判断是不是实际内存问题
排名靠前不等于存在故障。先确认高 %MEM 进程的 RSS 是否明显高于同类进程,再观察它是否随时间持续增长,并同时检查系统整体可用内存是否下降、Swap 是否增加。只有进程增长趋势和系统压力相互印证时,才更可能是泄漏、缓存失控或内存配置过大的问题。
如果只是 VSZ 很大,而 RSS、系统可用内存和 Swap 都保持稳定,通常不应仅凭这条结果重启或终止进程。
风险与边界
这条 ps 命令只读取进程信息,不会修改服务状态。容器、共享内存、页缓存以及共享页会让单进程 RSS 与系统级内存统计存在差异,因此它更适合作为“定位候选”的第一步,而不是最终结论。
CPU 与调度诊断
mpstat [options] [interval [count]]按逻辑 CPU 持续查看 user、system、iowait、irq、softirq 与 idle,适合判断是否存在单核热点、整体饱和或中断负载不均。
查看各 CPU 利用率
需要判断整机 CPU 是否饱和、是否只有少数逻辑 CPU 形成热点,或中断与 I/O 等待是否集中在特定 CPU 时,用 mpstat 按 CPU 连续采样。重点比较各 CPU 的 %usr、%sys、%iowait、%irq、%soft 与 %idle,不要只看总平均值。
基本语法
mpstat [options] [interval [count]]interval 是两次报告之间的秒数,count 是报告次数。常用的 -P ALL 会同时显示汇总行和每个逻辑 CPU;也可把 ALL 换成具体 CPU 编号。不同 sysstat 版本显示的列可能略有差异,应以本机 mpstat 输出和手册为准。
关键指标
%usr:用户态执行时间占比,持续偏高通常说明应用计算负载较重。%sys:内核态执行时间占比;明显升高时应继续排查系统调用、网络、存储或内核路径。%iowait:CPU 空闲但存在未完成磁盘 I/O 请求的时间占比,适合作为进一步检查存储延迟的信号,但不能单独证明磁盘已经饱和。%irq、%soft:硬中断与软中断处理占比;若明显集中在少数 CPU,可继续检查网卡队列、IRQ 亲和性等因素。%idle:CPU 空闲时间占比。多个 CPU 长期接近 0,才更接近整体 CPU 饱和;只有单个 CPU 很忙时应优先考虑单线程热点或负载分布问题。
持续观察所有 CPU
mpstat -P ALL 1 10预期输出:命令每 1 秒报告一次,共采样 10 次;终端会包含 all 汇总行以及各逻辑 CPU 的利用率。具体时间、CPU 数量和百分比随主机实时负载变化。
<TIME> CPU %usr %nice %sys %iowait %irq %soft ... %idle
<TIME> all <VALUE> ... ... <VALUE>
<TIME> 0 <VALUE> ... ... <VALUE>
<TIME> 1 <VALUE> ... ... <VALUE>
...
Average: all <VALUE> ... ... <VALUE>读取时先看 all 判断整体压力,再横向比较各 CPU。如果 all 仍有较多 %idle,但某个 CPU 长期接近满载,说明问题更可能是单核热点或任务、中断分布不均,而不是整机计算能力耗尽。
风险与边界
mpstat 是观测命令,不会修改系统状态,但很短的采样窗口容易把瞬时尖峰误判成长期问题。生产环境通常应连续采样若干秒,并结合 pidstat、vmstat 或性能监控中的同一时间段继续定位负载来源。
pidstat -u [options] [interval [count]]按固定间隔统计各进程 CPU 使用率,能比一次性 ps 更稳定地捕获热点;适合定位周期性任务、短时尖峰以及用户态和内核态消耗。
持续定位高 CPU 进程
需要找出一段时间内持续或周期性消耗 CPU 的进程时,用 pidstat -u 连续采样比一次性的进程快照更可靠。它能同时观察用户态、内核态和总 CPU 占用,适合把“CPU 很忙”进一步收敛到具体 PID 与命令。
基本语法
pidstat -u [options] [interval [count]]-u 输出 CPU 使用统计;interval 指定采样间隔秒数,count 指定报告次数。若需要只跟踪指定进程,可再使用当前 sysstat 版本支持的进程选择选项;具体选项以本机 pidstat --help 或手册为准。
关键指标
常见输出包含 PID、命令以及用户态、内核态和总 CPU 百分比。sysstat 版本和平台不同,列名可能略有差异。
%usr:进程在用户态执行所占 CPU 时间,计算密集型应用通常主要体现在这里。%system:进程在内核态执行所占 CPU 时间;持续偏高时可继续检查系统调用、网络或文件 I/O 行为。%CPU:该进程在采样周期内的 CPU 使用率,用于快速筛出热点进程。CPU:报告时任务所运行的处理器编号,可辅助观察任务是否长期集中在特定 CPU。Command:进程命令名,用于把 PID 与具体程序关联起来。
连续捕获热点进程
pidstat -u 1 10预期输出:命令每 1 秒产生一轮进程 CPU 统计,共采样 10 次,并在结束时给出平均统计。实际 PID、命令、CPU 编号及百分比会随主机实时状态变化。
<TIME> UID PID %usr %system %guest %wait %CPU CPU Command
<TIME> <UID> <PID> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <CPU> <COMMAND>
...
Average: <UID> <PID> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> - <COMMAND>排查时不要只抓某一轮最高值。若同一个 PID 在多轮采样中持续位于前列,它更可能是真正的 CPU 热点;若只偶发出现一轮高值,则应结合业务周期、定时任务或更长采样窗口判断。
继续验证
发现热点 PID 后,可先确认该 PID 当前对应的进程,避免进程退出并发生 PID 复用后分析错对象。
ps -p <PID> -o pid,ppid,user,stat,etime,cmd预期输出:若 <PID> 仍存在,会返回该进程的一行身份与运行时间信息;若进程已经退出,则不会出现对应进程数据。
PID PPID USER STAT ELAPSED CMD
<PID> <PPID> <USER> <STAT> <ELAPSED> <COMMAND>风险与边界
pidstat 本身只读取统计信息,不会终止或修改进程。短生命周期任务可能在两次采样之间启动并退出,因此仍可能漏掉极短尖峰;遇到这种情况应缩短采样间隔或使用更适合事件级观测的性能工具。
pidstat -w [options] [interval [count]]查看进程主动与被动上下文切换速率,适合分析锁竞争、线程过多和调度抖动;切换次数高本身不是故障,应结合 CPU 与延迟变化判断。
观察上下文切换
当应用延迟抖动、线程很多或怀疑锁等待时,用 pidstat -w 按进程观察上下文切换速率。重点区分主动让出 CPU 的 cswch/s 与被调度器抢占产生的 nvcswch/s,再结合 CPU 使用率和响应延迟判断是否异常。
基本语法
pidstat -w [options] [interval [count]]-w:显示任务上下文切换统计。interval:两次采样之间的秒数;省略时通常输出自系统启动以来的统计。count:采样次数,与interval一起使用时可限制命令持续时间。-p <PID>:需要聚焦单个进程时可指定 PID;不同 sysstat 版本支持的附加选项应以本机pidstat --help或手册页为准。
关键指标
cswch/s 表示每秒主动上下文切换次数,例如任务因等待锁、I/O 或其他资源而主动让出 CPU。nvcswch/s 表示每秒非主动上下文切换次数,常见于时间片耗尽或更高优先级任务触发抢占。
单看数值高低不能判定故障。线程池规模扩大、并发提升或工作负载变化都可能让切换次数自然上升;真正值得关注的是切换速率突然升高,并同时出现 CPU 消耗增加、吞吐下降或延迟恶化。
常用示例
pidstat -w 1 10预期结果:命令每 1 秒采样一次,共采样 10 次,输出各任务的上下文切换统计。实际 PID、进程名和数值会随系统负载变化;应重点读取 cswch/s 与 nvcswch/s 两列。
< TIME > UID PID cswch/s nvcswch/s Command
< TIME > <UID> <PID> <VALUE> <VALUE> <COMMAND>其中 <TIME>、<PID>、<VALUE> 和 <COMMAND> 为动态值,实际输出格式还可能因 sysstat 版本和区域设置略有不同。
判断与边界
如果某个进程的 cswch/s 明显增加,可继续检查锁等待、阻塞 I/O、条件变量或线程池是否过度拆分;如果 nvcswch/s 与 CPU 饱和、运行队列增长同时升高,则更应关注 CPU 竞争和调度压力。
sar -q [interval [count]]观察运行队列长度、负载平均值及阻塞任务等调度指标,适合确认高负载是否长期存在;应与 CPU 核数、iowait 和阻塞进程数量一起解释。
检查运行队列压力
当 load average 偏高,需要判断是短暂尖峰还是持续调度压力时,用 sar -q 连续采样运行队列和负载指标。结果应与逻辑 CPU 数、CPU 使用率、I/O 等待和阻塞任务一起解释,而不是只看负载数字。
基本语法
sar -q [interval [count]]-q:报告运行队列长度和负载相关统计;具体列会随 sysstat 版本有所差异。interval:采样间隔,单位为秒。count:采样次数;与interval配合可限定观察窗口。
关键指标
常见输出中的 runq-sz 表示等待运行的任务数量,ldavg-1、ldavg-5、ldavg-15 分别对应 1、5、15 分钟负载平均值。部分 sysstat 版本还会显示 blocked 等字段,用于反映等待 I/O 等不可中断睡眠状态的任务数量。
判断运行队列压力时,应先确认逻辑 CPU 数。持续出现 runq-sz 明显高于可用 CPU 数,同时 CPU 空闲率很低,通常更符合 CPU 竞争;如果负载很高但 CPU 并未饱和,并伴随较多阻塞任务或较高 I/O 等待,则应继续检查存储或其他阻塞资源。
常用示例
sar -q 1 10预期结果:命令每 1 秒输出一次队列和负载统计,共采样 10 次。实际时间、队列长度、负载值以及具体列名取决于当前系统状态和 sysstat 版本。
< TIME > runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15 blocked
< TIME > <VALUE> <VALUE> <VALUE> <VALUE> <VALUE> <VALUE><TIME> 与 <VALUE> 均为动态值;若本机输出没有 blocked 列,应以当前 sysstat 版本实际提供的字段为准。
结合 CPU 核数判断
可先读取系统可用的逻辑 CPU 数,再与同一时间窗口的 runq-sz 对照:
nproc预期结果:输出当前可用的逻辑 CPU 数,例如:
8实际数值取决于主机或容器可见的 CPU 配额。若运行队列只是偶尔超过该值,不一定代表故障;持续超过并伴随业务延迟上升,才更值得进一步定位热点进程、线程竞争或 CPU 配额不足。
风险与边界
load average 不等于 CPU 使用率,它还可能受到不可中断等待任务影响。看到高负载后不要直接扩容 CPU;应继续结合 sar -u、vmstat、pidstat 或进程级指标确认瓶颈属于 CPU 调度还是 I/O 阻塞。
top -H -p <pid>只显示指定进程内的线程并按资源消耗观察热点,适合 Java、数据库和多线程服务 CPU 飙高后的进一步下钻;需要先明确目标 PID。
查看单进程线程热点
已经确认某个进程 CPU 偏高,但还需要定位到具体线程时使用 top -H -p <pid>。它把目标进程拆成线程逐行展示,可直接比较 %CPU、运行状态和线程 ID,缩小后续线程栈或应用级诊断范围。
基本语法
top -H -p <pid>-H:启用线程模式,将线程作为独立任务显示。-p <pid>:只观察指定 PID 对应的进程及其线程,避免被系统中其他任务干扰。<pid>:必须替换为实际进程 PID;进程退出后,该监控目标也会消失。
进入交互界面后可按 P 按 CPU 使用率排序,按 q 退出。在线程模式下,可重点观察 PID 列中的线程 ID、%CPU 和任务状态。
定位热点线程
假设已经通过进程列表或服务监控得到目标 PID:
top -H -p <PID>预期结果:界面只保留属于 <PID> 的线程;实际线程数量和 CPU 数值会随负载变化。按 P 排序后,持续位于前列且 %CPU 较高的线程就是优先排查对象。
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
<TID> <USER> <PR> <NI> <VIRT> <RES> <SHR> R <CPU> <MEM> <TIME> <NAME>
<TID> <USER> <PR> <NI> <VIRT> <RES> <SHR> S <CPU> <MEM> <TIME> <NAME>其中 <TID>、<CPU>、<TIME> 等都是运行时动态值,不应按固定数字判断;应关注同一线程是否在连续采样中反复保持高占用。
判断边界
一次瞬时高 %CPU 不足以证明线程存在性能问题,短任务、垃圾回收或突发请求都可能造成尖峰。更可靠的做法是连续观察多个刷新周期,再把稳定的热点线程 ID 交给 JVM、数据库或应用自身的线程诊断工具继续分析。
perf stat [<options>] [<command>]统计指令数、周期、分支、缓存等硬件和软件性能事件,适合判断计算效率与微架构瓶颈;可用事件受 CPU、内核与 perf 权限配置影响。
统计硬件性能事件
需要判断程序究竟是执行效率低、分支行为异常,还是受缓存等微架构因素影响时使用 perf stat。它在命令运行期间累计性能计数器,并在结束后输出统计结果;具体可用事件取决于 CPU、内核、虚拟化环境和 perf 权限策略。
基本语法
perf stat [<options>] [<command>]<command> 是被测命令。没有显式 -e 时,perf stat 会使用当前 perf 版本和平台提供的默认事件集合,因此不要假定所有机器都会出现完全相同的计数器。
关键选项
| 选项 | 作用 |
|---|---|
-e <event> |
显式选择要统计的一个或多个事件,适合让不同测试使用一致指标 |
-p <pid> |
附加到已经运行的指定进程进行统计 |
-a |
做系统范围统计;所需权限可能高于普通进程级统计 |
-r <n> |
将被测命令重复运行 <n> 次,并汇总多次测量结果 |
-- |
明确结束 perf 自身的选项,后面的内容作为被测命令解析 |
硬件事件名称和是否可计数并不跨 CPU 型号完全一致。需要指定事件时,应先以当前机器实际提供的事件为准。
快速统计一次命令
下面的命令运行 sleep 1,约一秒后结束,因此适合先验证 perf 是否能够正常采样:
perf stat -- sleep 1预期结果:sleep 正常退出后,perf stat 在终端输出本机可用的默认统计项,并给出实际耗时。计数器名称和数值可能因系统而异,因此读取结果时应以当前终端实际出现的项目为准。
Performance counter stats for 'sleep 1':
<COUNTERS_SUPPORTED_BY_THIS_SYSTEM>
<SECONDS> seconds time elapsed<COUNTERS_SUPPORTED_BY_THIS_SYSTEM> 代表当前环境成功启用的计数器;某些硬件事件可能被省略、显示为不支持,或因为权限限制无法访问。
读取统计结果
分析计算型程序时,通常把不同计数器组合起来看,而不是单独追求某个数字。例如同时获得 instructions 与 cycles 时,可以用二者关系观察每周期完成的指令量;分析缓存或分支问题时,也应把 miss 数与对应的访问或分支总量一起判断。
这些指标高度依赖工作负载,不能用一条固定阈值判断所有程序。做优化对比时应保持输入数据、CPU 亲和性和测试条件尽量一致,并进行多次采样。
权限与失败处理
如果出现权限拒绝,常见原因是内核的 perf 访问策略限制了普通用户读取性能事件;如果事件显示不支持,则可能是 CPU、虚拟机或内核没有暴露对应计数器。不要为了临时测试直接放宽生产主机的全局安全策略,应优先选择当前权限允许的事件,或由管理员按照主机安全规范授予所需能力。
内存与压力诊断
sar -r [interval [count]]持续观察空闲内存、可用内存、缓存和内存使用比例,适合判断内存压力是瞬时还是持续增长;应结合换页、PSI 和进程 RSS 进一步确认。
查看内存使用趋势
当需要判断内存占用是短时波动还是持续恶化时,用 sar -r 按固定间隔采样。重点观察可用内存、缓存与内存使用比例的连续变化,而不是只凭某一个时刻的“已用内存”下结论。
基本语法
sar -r [interval [count]]interval:两次采样之间的秒数;指定后可连续观察实时变化。count:采样次数;与interval一起使用可限制命令运行时长。-r:输出内存利用率统计。具体列名会随 sysstat 版本变化,不应依赖固定列位置解析。
常用示例
sar -r 1 10预期输出:每隔 1 秒输出一组内存统计,共采样 10 次;时间和值会随主机状态变化。
<TIME> <MEMORY_COLUMNS...>
<TIME> <VALUES...>
...读取时优先找当前版本输出中的 kbavail、kbmemfree、%memused 和缓存相关列。kbavail 持续下降通常比单看空闲内存更值得关注,因为 Linux 会主动利用空闲内存做缓存。
判断持续压力
如果多次采样中可用内存持续降低,应继续结合分页、换页和进程级指标定位原因。单独看到 %memused 很高并不能证明发生了内存压力,缓存可以在需要时被回收。
可以同时查看进程 RSS 或使用 sar -B、PSI 等指标确认是否已经出现回收、重大缺页或内存等待;这些证据比单点内存占用比例更能说明实际压力。
风险与边界
该命令只读,不会修改系统状态。省略 count 并指定 interval 时可能持续采样,可按 Ctrl-C 结束。不同 sysstat 版本的字段集合可能不同,自动化采集前应先确认目标主机实际输出的列名。
sar -B [interval [count]]查看分页、缺页和回收相关统计,适合区分普通 page fault 与真实内存回收压力;持续高扫描、回收或换页通常比单纯内存使用率更值得关注。
观察分页活动
当内存使用率看起来很高,但还无法判断是否存在真实内存压力时,用 sar -B 连续观察缺页、页面扫描和回收活动。它能帮助区分常见的普通 page fault 与持续回收造成的压力。
基本语法
sar -B [interval [count]]interval:两次采样之间的秒数。count:采样次数,用于限制连续观察的长度。-B:显示分页相关统计。字段集合可能随 sysstat 版本变化,应按当前主机表头读取。
常用示例
sar -B 1 10预期输出:每隔 1 秒输出一组分页统计,共采样 10 次;具体数值由当前工作负载决定。
<TIME> <PAGING_COLUMNS...>
<TIME> <VALUES...>
...当前版本若提供相应字段,可重点关注 fault/s、majflt/s、pgscank/s、pgscand/s 和 pgsteal/s。普通 fault/s 包含大量无需磁盘读取即可处理的缺页,因此数值高本身不等于内存不足。
读取压力信号
majflt/s 持续升高说明需要从存储取得缺失页面的重大缺页在增加;页面扫描与回收指标持续活跃,则说明内核正在更积极地寻找和回收页面。若这些信号与延迟上升同时出现,才更值得怀疑真实内存压力。
pgpgin/s、pgpgout/s 等分页 I/O 也不能直接等同于 swap 活动。需要确认交换区换入换出时,应另外查看对应的 swap 统计,而不要仅凭 sar -B 推断。
风险与边界
该命令只读,不会触发页面回收。不要只比较一次采样或单个 fault/s 数值,应观察连续趋势,并结合 sar -r、PSI、进程 RSS 和交换活动确认根因。不同 sysstat 版本可能调整列名或字段集合,自动解析时应以实际表头为准。
pidstat -r [options] [interval [count]]持续查看进程缺页次数、虚拟内存和常驻内存变化,适合定位 RSS 持续上涨或频繁缺页的进程;需结合应用缓存和内存分配策略判断是否泄漏。
定位进程内存增长
当进程 RSS 持续上涨、机器开始换页,或需要判断异常延迟是否伴随频繁缺页时,用 pidstat -r 连续采样。重点观察同一 PID 的 RSS 趋势以及 minflt/s、majflt/s,但 RSS 增长本身不能直接证明存在内存泄漏。
基本语法
pidstat -r [options] [interval [count]]-r 输出进程的缺页与内存使用统计;interval 是采样间隔秒数,count 是采样次数。需要缩小范围时,可配合 -p <PID> 只观察指定进程。
连续观察内存变化
pidstat -r 1 10预期输出:每秒采样一次,共输出 10 轮。不同 sysstat 版本的表头可能略有差异,常见字段形态如下,时间、PID 和数值以实际环境为准。
<TIME> UID PID minflt/s majflt/s VSZ RSS %MEM Command
<TIME> <UID> <PID> <MINFLT> <MAJFLT> <VSZ_KB> <RSS_KB> <MEM_PCT> <COMMAND>持续比较同一 PID 的 RSS:若多轮采样中只升不降,再结合请求量、缓存大小和应用自身内存指标继续定位。majflt/s 持续偏高表示进程频繁发生需要从存储读取页面的主缺页,通常还应检查系统整体内存与 I/O 压力。
风险与边界
VSZ 是虚拟地址空间大小,不等同于实际占用的物理内存;RSS 也可能因缓存、内存池、共享映射或正常工作集扩张而增加。短时间采样不足以认定泄漏,最好覆盖业务稳定期和异常期进行趋势对比。
命令来自 sysstat 工具集;若系统没有 pidstat,需先按发行版方式安装 sysstat。生产环境排查时优先连续观测趋势,不要仅凭单个采样点下结论。
cat /proc/pressure/memory读取内存 Pressure Stall Information,观察任务因内存回收或资源不足而停顿的比例;适合在 available 尚未归零时识别已经影响延迟的内存压力。
检查内存 PSI 压力
当 MemAvailable 仍有余量,但应用延迟已经升高,或怀疑任务正在因内存回收和资源争用而停顿时,读取内存 PSI。它直接反映任务因内存压力无法继续执行的时间比例,比只看剩余内存更接近实际性能影响。
基本语法
cat /proc/pressure/memory预期输出:支持 PSI 的内核通常返回 some 和 full 两行;具体数值会随负载变化。
some avg10=<AVG10> avg60=<AVG60> avg300=<AVG300> total=<TOTAL_US>
full avg10=<AVG10> avg60=<AVG60> avg300=<AVG300> total=<TOTAL_US>avg10、avg60、avg300 分别表示最近 10、60、300 秒内受压力停顿时间的平均百分比,适合区分瞬时尖峰和持续压力。total 是累计停顿时间,单位为微秒,主要用于计算两个采样点之间的增量。
判断压力类型
some 表示在统计窗口内至少有部分非空闲任务因内存压力发生停顿;full 表示所有非空闲任务同时处于停顿状态,通常意味着更严重的系统级影响。判断异常时应看趋势和业务延迟,而不是给某个百分比设置脱离场景的固定通用阈值。
如果 avg10 快速升高而 avg60、avg300 较低,压力可能刚出现;三个窗口都维持较高水平,则更像持续性内存争用。可进一步结合内存回收、换页、OOM 事件以及进程 RSS 等指标定位来源。
可用性与边界
/proc/pressure/memory 只有在内核提供 PSI 支持并启用相应能力时才存在。若命令返回文件不存在,不应解释为“当前没有压力”,而应先确认当前内核是否支持或启用了 PSI。
PSI 描述的是任务被资源压力阻塞的时间,不直接指出是哪一个进程消耗了内存,也不能单独判断是否存在泄漏。它适合确认“内存压力是否已经影响执行”,再配合 pidstat、vmstat 或应用指标寻找具体来源。
slabtop [options]实时查看内核 Slab 缓存对象及内存占用,适合排查 inode、dentry 或其他内核对象异常增长;该工具关注内核缓存,不用于分析普通进程堆内存。
查看内核 Slab 占用
当系统内存持续下降、进程 RSS 又无法解释占用时,可用 slabtop 检查内核 Slab 对象。它能快速找出 dentry、inode 等缓存是否异常增大,但不能定位普通进程的堆内存泄漏。
基本语法
slabtop [options]-o:输出一次当前 Slab 统计后退出,适合采集快照和远程排查。- 不带
-o:进入交互刷新模式,可观察对象是否持续增长。
slabtop 从内核 Slab 统计接口读取数据;部分系统会限制普通用户访问,此时需要使用具备相应权限的账户执行。
查看一次 Slab 快照
slabtop -o预期结果:命令输出一次 Slab 汇总和缓存对象明细后退出。实际对象数量与容量随主机状态变化,重点读取 OBJS、ACTIVE、OBJ SIZE、CACHE SIZE 和 NAME 等列。
排查内存异常时,优先按 CACHE SIZE 找占用较大的对象,再结合名称判断来源。例如 dentry 与目录项缓存有关,不同文件系统还可能出现各自的 inode 缓存名称。比单次绝对值更重要的是同一对象是否随时间持续增长且长期不回落。
判断是否值得继续追查
Slab 较大不等于泄漏。内核会使用缓存提高文件系统和对象分配效率,其中部分内存在压力出现时可以回收。应同时观察系统总内存压力以及 Slab 的可回收、不可回收部分,再判断是否存在异常增长。
边界与恢复
slabtop 是只读诊断工具,本身不会修改 Slab。若命令因权限不足无法读取统计信息,应按主机权限策略提升读取权限;若怀疑某类对象泄漏,应继续定位产生这些内核对象的文件系统、驱动或工作负载,而不是把 slabtop 当作释放内存的工具。
磁盘与块设备 I/O
iostat [options] [interval [count]]观察块设备吞吐、队列、平均等待时间和利用率,适合确认磁盘是否成为系统瓶颈;建议使用扩展指标并按秒采样,避免只看单次累计数据。
查看磁盘延迟与饱和
当请求变慢、I/O wait 升高或怀疑存储成为瓶颈时,用 iostat 连续采样块设备延迟、队列和吞吐。诊断时应观察多个采样周期,而不是仅依据自启动以来的累计平均值下结论。
基本语法
iostat [options] [interval [count]]-x:显示扩展设备指标,包括等待时间、队列和利用率等诊断数据。-z:省略采样期间没有活动的设备,减少无关输出。interval:相邻报告之间的采样间隔,单位为秒。count:报告总次数。
不同 sysstat 版本、内核和设备类型显示的列可能略有差异,诊断时以当前主机实际列名为准。
连续采样设备状态
iostat -xz 1 10预期结果:输出 10 组设备统计。第一组通常反映系统启动以来的平均情况,后续报告反映相邻约 1 秒区间,因此判断当前故障时重点观察后续多组数据是否持续异常。
常用读取顺序是先看 r/s、w/s 与读写吞吐判断负载规模,再看 await 或设备分别提供的读写等待指标判断请求延迟,结合 aqu-sz 判断平均排队程度,最后参考 %util 判断设备忙碌程度。
判断瓶颈时避免单指标结论
await 表示请求从进入设备队列到完成所经历的平均时间,通常同时包含排队和设备处理时间。它持续升高且 aqu-sz 同时增长时,更能说明请求正在存储路径中积压。
%util 接近 100% 对传统串行处理特征明显的块设备通常意味着设备长期繁忙,但不能把它作为所有 SSD、NVMe、RAID 或虚拟存储的统一饱和阈值。这些设备可能并行处理多个请求,应结合延迟、队列和业务吞吐共同判断。
边界与下一步
iostat 能指出哪个块设备出现异常,但不能直接回答是哪个进程或哪一个文件导致 I/O。确认设备层存在持续延迟后,再使用进程级 I/O 工具或应用指标缩小来源;如果设备指标正常,则应继续检查 CPU、内存、网络或应用自身等待,而不是仅凭系统变慢认定磁盘故障。
pidstat -d [options] [interval [count]]持续统计各进程读写速率和 I/O 延迟相关字段,适合在块设备繁忙后定位主要读写来源;对直接 I/O、缓存写回等场景仍需结合设备级指标判断。
定位高 I/O 进程
当 iostat 等设备级指标已经确认磁盘繁忙,需要继续找出主要读写进程时使用 pidstat -d。它按采样周期展示进程 I/O 统计,适合把设备压力进一步定位到具体 PID 和命令。
基本语法
pidstat -d [options] [interval [count]]-d:显示任务的块 I/O 统计。interval:两次采样之间的秒数;省略时通常只报告自系统启动以来的统计摘要,而不是持续刷新。count:采样次数;与interval一起使用可限定观测时长。-p <PID>:只观察指定 PID;需要进一步确认单个嫌疑进程时使用。
常见输出中的 kB_rd/s 与 kB_wr/s 分别表示进程每秒从存储读取和写入的数据量。iodelay 是任务块 I/O 等待的累计延迟指标,单位为时钟 tick,并不是毫秒。
持续采样定位进程
pidstat -d 1 10预期输出:命令每秒采样一次,共输出 10 轮;实际 PID、速率、命令和时间会随主机负载变化。不同 sysstat 版本或本地化设置可能调整表头,但通常可看到如下字段。
<TIME> UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command
<TIME> <UID> <PID> <READ_KB_S> <WRITE_KB_S> <CANCELLED_WRITE_KB_S> <IODELAY> <COMMAND>优先观察连续多个采样周期都保持较高 kB_rd/s 或 kB_wr/s 的 PID,而不要只凭单次峰值判断。找到嫌疑 PID 后,再结合进程用途和设备级延迟确认它是否真的是瓶颈来源。
边界与排查
pidstat 的进程级统计不等同于块设备最终看到的物理吞吐。页缓存、异步写回、设备映射以及其他内核路径都可能让进程计数与 iostat 的设备吞吐不完全一致,因此应把两类数据交叉验证。
iotop [options]以类似 top 的方式实时观察进程或线程磁盘读写活动,适合快速锁定持续写盘或大量读取任务;部分系统需要额外安装并提升权限才能获取完整统计。
实时查看进程 I/O
需要像使用 top 一样实时观察谁正在读写磁盘时使用 iotop。-oPa 会聚焦当前发生 I/O 的进程,并按进程汇总、累计本次观察期间的读写量,适合快速锁定持续写盘或大量读取任务。
基本语法
iotop [options]-o:只显示当前采样中实际发生 I/O 的任务,减少无关行。-P:按进程显示,而不是把各线程分别列出。-a:显示从本次iotop启动后累计的 I/O,而不是只看瞬时带宽,便于识别持续产生读写的进程。
这些短选项在常见 iotop 实现中可组合为 -oPa。不同发行版可能提供原版 iotop 或其他兼容实现,若参数被拒绝,应以本机 iotop --help 显示的选项为准。
实时定位读写来源
sudo iotop -oPa预期结果:进入持续刷新的交互界面,只保留当前有 I/O 活动的进程。实际列名和布局会因 iotop 实现而异,但应能读取 PID、用户、累计读写量和命令等信息。
Total DISK READ: <READ_RATE> | Total DISK WRITE: <WRITE_RATE>
PID USER DISK READ DISK WRITE COMMAND
<PID> <USER> <READ_VALUE> <WRITE_VALUE> <COMMAND>连续观察一段时间后,累计 DISK READ 或 DISK WRITE 明显增长的进程通常是优先排查对象。确认 PID 后,还应结合 iostat、应用日志或文件访问情况判断它是否造成了设备延迟,而不是仅有较大的缓存或后台写入量。
权限与边界
iotop 依赖内核提供的任务 I/O 统计能力;部分系统必须以 root 或具备相应能力的账户运行,否则可能报权限错误或无法获得完整数据。内核配置、发行版和 iotop 实现不同,也会影响可见字段与权限要求。