Linux 与服务器运维 / 知识点
Linux 性能诊断命令速查
磁盘与块设备 I/O
sar -d [interval [count]]按时间连续或读取历史记录查看块设备吞吐、请求和延迟指标,适合验证磁盘异常是否持续发生;设备名可结合 DEV 或持久设备名选项进一步确认。
查看块设备历史趋势
怀疑磁盘吞吐下降、请求堆积或延迟升高时,用 sar -d 连续观察块设备指标,判断异常是瞬时尖峰还是持续存在。需要追溯过去时,还可在 sysstat 已保存采样数据的前提下读取历史归档。
基本语法
sar -d [interval [count]]-d:显示块设备活动统计。interval:相邻采样之间的秒数;省略时通常读取已有统计数据,具体行为取决于附加选项和 sysstat 配置。count:采样次数;与interval一起使用时限制连续报告数量。
重点观察指标
不同 sysstat 版本的列名可能略有差异,应以当前命令输出表头和 man sar 为准。排查时重点关注每秒请求数、读写吞吐、请求大小、队列深度、等待时间以及设备利用率,并把多次采样放在一起看趋势,不要只根据单个瞬时值判断瓶颈。
设备列通常显示内核块设备名。需要把设备进一步对应到实际磁盘、逻辑卷或持久设备名时,可结合本机支持的设备显示选项以及 lsblk 等工具核对,避免把分区、映射设备和底层磁盘混为一谈。
连续采样
sar -d 1 10预期输出:每隔 1 秒产生一组块设备统计,共采样 10 次,结束时通常还会给出平均值。具体列随 sysstat 版本变化,数值也取决于当前负载,例如:
<TIME> DEV tps rkB/s wkB/s ... await ... %util
<TIME> <DEV> <VALUE> <VALUE> <VALUE> ... <VALUE> ... <VALUE>
...
Average: <DEV> <VALUE> <VALUE> <VALUE> ... <VALUE> ... <VALUE>连续多次出现较高等待时间或明显队列增长,比单次尖峰更值得继续排查。对于 SSD、NVMe、RAID 或虚拟块设备,不能仅凭 %util 接近 100% 就直接认定物理磁盘已经饱和,还应结合延迟、队列和实际吞吐判断。
历史数据与边界
历史趋势依赖 sysstat 的采集与归档机制;如果系统此前没有启用采集,就无法用 sar 补出过去的数据。历史文件的位置和保留周期因发行版及配置而异,读取前先确认本机 sysstat 配置,不要假定固定路径。
速查时先看连续采样是否重复出现异常,再确认具体 DEV 对应的真实存储层级,最后结合应用延迟和其他 I/O 工具判断根因。
lsof +L1列出链接数小于一且仍被进程打开的文件,适合排查文件已删除但磁盘空间未释放的问题;确认进程用途后再通过重启或关闭文件描述符释放空间。
查找已删除占盘文件
文件已经从目录中删除,但 df 显示磁盘空间仍未释放时,用 lsof +L1 查找仍被进程打开的无链接文件。找到持有它的进程和文件描述符后,就能判断应该让应用主动关闭文件,还是在维护窗口重启对应服务。
基本语法
lsof +L1+L1 会筛选链接计数小于 1 的已打开文件。Unix/Linux 删除文件名后,只要进程仍持有打开的文件描述符,文件数据就不会立即释放;进程关闭该描述符或退出后,相关空间才可回收。
读取结果
重点查看 COMMAND、PID、FD、SIZE/OFF、NLINK 和 NAME。其中 PID 用于定位持有文件的进程,FD 是打开的文件描述符,NLINK 为 0 通常说明目录项已经删除;SIZE/OFF 可辅助判断该文件是否足以解释缺失的磁盘空间。
查找占盘文件
lsof +L1预期输出:存在匹配文件时会列出持有者和文件描述符;不同 lsof 版本及文件系统显示的列可能略有差异,例如:
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
<COMMAND> <PID> <USER> <FD> REG <DEVICE> <BYTES> 0 <NODE> <PATH> (deleted)如果没有匹配的数据行,说明当前权限可见范围内没有这类打开文件。普通用户可能看不到其他用户或系统服务持有的文件,因此排查整台主机时需要具备相应权限;不要把“无输出”直接等同于系统中绝对不存在已删除占盘文件。
释放空间
先根据 COMMAND 和 PID 确认进程用途以及文件是否仍在写入。对由 systemd 管理的服务,通常应选择业务允许的维护窗口,让应用正常关闭文件描述符或重启对应服务;操作完成后再次运行 lsof +L1,并用文件系统空间工具确认容量已经恢复。
若同类问题反复发生,应继续检查日志轮转方式:删除或重命名日志后,长期运行的进程必须重新打开日志文件,否则旧文件描述符仍会持续占用磁盘空间。
网络与连接诊断
ss [options] [FILTER]快速汇总 TCP、UDP 等套接字数量及连接状态,适合判断是否存在连接暴涨、TIME-WAIT 积压或 socket 资源压力,再继续下钻到具体端口和进程。
查看套接字总体状态
当主机出现连接数异常、端口资源压力或大量短连接时,先用 ss -s 查看全局套接字摘要。它不会列出每条连接,而是快速给出 TCP、UDP 等协议的数量以及 TCP 已建立、TIME-WAIT 等状态统计,适合作为网络连接诊断的第一步。
基本语法
ss [options] [FILTER]ss 来自 iproute2。FILTER 可用于后续按状态、地址或端口缩小范围;仅查看总体统计时使用 -s 即可,不需要过滤表达式。
查看总体统计
ss -s预期输出:具体数字随当前主机负载变化,常见输出会包含总套接字数、TCP 汇总以及 UDP、RAW 等协议统计;不同 iproute2 与内核版本的字段和排版可能略有差异。
Total: <COUNT>
TCP: <COUNT> (estab <COUNT>, closed <COUNT>, orphaned <COUNT>, timewait <COUNT>)
Transport Total IP IPv6
RAW <COUNT> <COUNT> <COUNT>
UDP <COUNT> <COUNT> <COUNT>
TCP <COUNT> <COUNT> <COUNT>
INET <COUNT> <COUNT> <COUNT>
FRAG <COUNT> <COUNT> <COUNT>重点先看 estab 与 timewait。前者突然增长通常意味着并发连接增加;后者持续大量积压则值得继续检查短连接模式、连接建立速率以及应用是否频繁主动关闭连接。单次快照只能说明当前状态,判断“暴涨”应结合不同时间点的结果或监控趋势。
继续下钻
ss -s 只告诉你“有多少”,不能指出具体是哪个端口或进程。发现 TCP 数量异常后,可进一步查看连接明细,例如只观察当前已建立的 TCP 连接:
ss -tn state established预期输出:每行对应一条匹配连接,地址、端口和队列值取决于当前主机;没有匹配连接时可能只显示表头或无数据行。
Recv-Q Send-Q Local Address:Port Peer Address:Port
<COUNT> <COUNT> <LOCAL_IP>:<PORT> <REMOTE_IP>:<PORT>风险与边界
ss -s 是只读诊断命令,不会修改网络状态。不要仅凭一次较大的 TIME-WAIT 数量直接调整内核参数;先确认连接增长是否持续、由哪些端口和进程产生,并结合业务请求量判断是否异常。容器或网络命名空间中的 ss 默认只观察当前命名空间,排查宿主机或其他容器时要确认执行位置。
ss -tinp [FILTER]查看 TCP 连接、拥塞控制和进程关联信息,适合分析重传、RTT、发送队列和异常长连接;非特权用户可能无法看到其他进程的完整 PID 信息。
检查 TCP 连接细节
当总体连接数正常但仍存在延迟、发送阻塞、疑似重传或异常长连接时,用 ss -tinp 下钻到单条 TCP 连接。它同时展示端点、收发队列、TCP 内部统计和可见的进程关联信息,便于判断问题更接近应用积压还是网络传输。
基本语法
ss -tinp [FILTER]-t:只查看 TCP 套接字。-i:显示 TCP 内部信息;可见字段取决于内核与连接状态。-n:直接显示数字地址和端口,避免名称解析干扰排查。-p:显示使用套接字的进程信息;查看其他用户进程时可能需要更高权限。FILTER:按状态、地址或端口筛选连接,连接很多时应优先缩小范围。
查看 TCP 连接详情
ss -tinp预期输出:每条连接通常先显示状态、Recv-Q、Send-Q、本地与对端地址;下一行可能出现拥塞控制算法、RTT、RTO、拥塞窗口等 TCP 内部字段。进程字段是否完整取决于权限,具体数值与字段集合随连接和内核版本变化。
ESTAB <RECV_Q> <SEND_Q> <LOCAL_IP>:<PORT> <REMOTE_IP>:<PORT> users:(("<PROCESS>",pid=<PID>,fd=<FD>))
<CC_ALGO> rto:<TIME> rtt:<TIME>/<TIME> cwnd:<COUNT> ...对已建立连接而言,持续较大的 Send-Q 表示仍有数据等待对端确认,持续较大的 Recv-Q 表示已有数据尚未被本地应用读取。单个瞬时非零值并不等于故障,应连续观察并结合 RTT、重传相关字段和业务延迟判断。
按端口缩小范围
连接数量很多时,可利用 FILTER 只检查与目标端口相关的连接。下面查看本地或远端端口为 443 的 TCP 连接:
ss -tinp '( sport = :443 or dport = :443 )'预期输出:只保留源端口或目标端口匹配 443 的连接;若当前没有匹配连接,则不会出现连接数据行。
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
<STATE> <COUNT> <COUNT> <LOCAL_IP>:<PORT> <REMOTE_IP>:443 <PROCESS_INFO>实际地址、端口、状态以及 TCP 内部指标会不同。过滤表达式由 ss 自己解析,外层单引号可防止 Shell 把括号等字符提前解释。
风险与边界
该命令只读取套接字状态,不会中断连接。普通用户可能看不到不属于自己的 PID、文件描述符或进程名称,因此“没有进程信息”不能直接推断连接没有所属进程;需要完整关联时可在获得授权后使用相应权限重新执行。RTT、拥塞窗口或重传字段也可能因内核版本、协议状态和连接生命周期而缺失,不应把某个可选字段不存在本身当作异常。
sar -n DEV [interval [count]]持续查看各网络接口的收发包速率、字节吞吐和接口利用情况,适合确认带宽热点和流量变化;错误包和丢包应继续结合 ip 与驱动统计排查。
查看网卡吞吐趋势
当怀疑主机带宽被打满、某个接口流量突增,或需要观察收发趋势时,用 sar -n DEV 做按时间间隔采样。它适合看速率变化,不用于判断物理层错误或丢包原因。
基本语法
sar -n DEV [interval [count]]DEV:网络设备统计组,按接口输出收发活动。interval:采样间隔,单位秒;设置后读取实时活动。count:输出的采样次数;省略时会持续采样,直到手动停止。
常用示例
sar -n DEV 1 10预期结果:每 1 秒输出一组网络接口统计,共 10 组,并在末尾给出平均值。重点比较同一接口的接收和发送字节速率;字段名以及是否显示接口利用率会随 sysstat 版本而不同。
结果判读
短时峰值只说明瞬时流量高;连续多次采样都维持高吞吐,才更像持续带宽热点。回环接口 lo 与业务网卡应分开看,避免把本机进程通信误判为外部网络压力。
风险与边界
sar -n DEV 展示的是速率趋势,不能代替错误包、丢弃包或驱动级统计。若吞吐不高但仍有超时、重传或丢包,应继续检查接口累计错误与丢弃计数,并结合链路和驱动层信息定位。
ip -s link show [dev DEVICE]查看接口收发包、错误、丢弃和 overrun 等累计计数,适合确认网络异常是否已经发生在主机接口层;计数为累计值,最好间隔采样比较增量。
检查网卡错误与丢包
当网络抖动、吞吐异常或应用出现超时,需要先确认问题是否已发生在主机接口层时,用 ip -s link show 查看 RX/TX 累计计数。它能快速发现错误和丢弃是否在增长,但单个快照不能直接表示发生速率。
基本语法
ip -s link show [dev DEVICE]-s:显示接口统计信息。dev DEVICE:只查看指定接口;省略时列出所有接口。
常用示例
ip -s link show
sleep 5
ip -s link show预期结果:得到两次相隔 5 秒的接口统计快照。比较同一接口的 RX/TX errors、dropped 等累计值;若第二次持续增加,说明采样窗口内仍有接口层异常。不同 iproute2 版本可能显示额外字段,具体列以本机输出为准。
结果判读
errors 增长通常表示收发过程中出现无法正常处理的数据;dropped 增长表示数据在接口或内核处理路径中被丢弃。应同时看 RX 与 TX,判断异常主要发生在接收方向还是发送方向。
风险与边界
仅看到累计值非零不能证明故障正在发生;关键是观察增量及其与业务异常时间是否一致。若错误或丢弃持续增长,再进一步检查驱动、链路、队列和对端设备,避免把历史计数当成当前根因。
nstat [options] [PATTERN]读取 Linux 网络协议栈统计计数,适合检查 TCP 重传、连接失败、ICMP 和 IP 层异常;指标数量较多,应围绕已知故障现象筛选并比较计数增量。
查看协议栈异常计数
网络出现 TCP 重传、连接失败、ICMP 错误或 IP 丢弃时,用 nstat 读取当前网络命名空间的协议栈计数。诊断重点不是“某个累计值很大”,而是故障窗口内相关计数是否继续增长。
基本语法
nstat [options] [PATTERN]-a:忽略nstat保存的历史基线,读取当前绝对计数,适合做两次采样后手工比较。-z:连值为 0 的计数器也显示,便于确认目标指标存在但当前没有活动。PATTERN:按计数器名筛选;已知问题时优先只查相关指标,避免被大量统计项淹没。
常用排查项包括 TcpRetransSegs、TcpAttemptFails、TcpEstabResets、IcmpInErrors 和 IpInDiscards。这些计数能指出异常发生在哪一层,但单个计数器本身不能直接证明根因。
高频示例
下面连续读取 TCP 重传计数,只保留计数器名和累计值,便于比较增量:
nstat -az TcpRetransSegs | awk '$1 == "TcpRetransSegs" {print $1, $2}'
sleep 5
nstat -az TcpRetransSegs | awk '$1 == "TcpRetransSegs" {print $1, $2}'预期输出:
TcpRetransSegs <COUNT_1>
TcpRetransSegs <COUNT_2><COUNT_1> 和 <COUNT_2> 是动态累计值。若第二次明显增大,说明这 5 秒内发生了新的 TCP 重传;若保持不变,则该窗口没有观察到该计数增长。出现增长后再结合接口丢包、队列、路由和对端状态继续定位。
风险与边界
nstat 的累计计数会受系统运行时长影响,不能直接拿不同主机的绝对值比较。容器或网络命名空间中的命令只看到当前命名空间的统计;排查宿主机时应在宿主机对应命名空间执行。
进程与系统调用深挖
perf top [<options>]实时采样系统或进程的热点函数与符号,适合从高 CPU 现象继续定位到用户态或内核态代码路径;采样权限、调试符号和符号表会影响可读性。
实时查看 CPU 热点函数
已经确认 CPU 使用率偏高,但还不知道时间消耗在哪段代码时,用 perf top 持续采样并按热点排序。它适合把“哪个进程占 CPU”继续下钻到用户态函数、共享库或内核符号。
基本语法
perf top [<options>]-p <PID>:只采样指定进程,适合已锁定高 CPU 进程后的下钻。-a:执行系统范围采样,适合热点进程尚不明确时观察整机。-e <EVENT>:选择采样事件,例如cycles;事件是否可用取决于 CPU 与内核支持。-g:采集并显示调用关系;开销和符号解析需求都会增加。--stdio:使用文本输出而不是交互界面,适合 SSH、日志留存或限时采样。
高频示例
下面启动一个临时 CPU 忙循环,仅用于演示按 PID 观察热点;timeout 会在 5 秒后终止 perf top,随后清理演示进程:
bash -c 'while :; do :; done' &
pid=$!
sudo timeout 5s perf top --stdio -p "$pid"
kill "$pid"
wait "$pid" 2>/dev/null || true预期输出:
Samples: <COUNT> of event '<EVENT>'
Overhead Shared Object Symbol
<PERCENT> <OBJECT> <SYMBOL>
...实际计数、百分比和符号随机器变化,列也可能因 perf 版本和排序设置略有不同。读取时先看 Overhead 较高的行,再确认热点位于目标程序、共享库还是内核;如果符号显示为 [unknown] 或只有地址,应先解决符号解析问题再下结论。
权限与失败处理
若出现无权启用性能事件之类的错误,先检查当前权限和内核限制:
sysctl kernel.perf_event_paranoid预期输出:
kernel.perf_event_paranoid = <VALUE><VALUE> 的允许范围和实际策略受发行版与内核配置影响。生产环境不要为了省事直接放宽系统级限制;优先按组织策略使用授权账户、sudo 或受控的性能分析权限。
若只能看到少量符号、[unknown] 或地址,常见原因是目标程序被剥离符号、缺少调试信息,或内核符号访问受限。补齐与目标二进制及运行内核匹配的符号信息后重新采样。
风险与边界
perf top 是采样分析,不等同于精确计时;热点百分比表示采样命中占比,不能单独证明某个函数就是根因。高频采样、调用栈采集和整机范围分析都会带来额外开销,线上应先缩小 PID、CPU 或事件范围,并控制观察时长。
perf record [<options>] [<command>]把采样事件写入 perf.data,供后续调用栈和热点分析使用;适合需要保留证据或离线分析的问题,系统级高频采样可能带来额外开销。
记录性能采样数据
当需要把 CPU 性能证据保存下来,供后续 perf report、调用栈分析或离线排查时使用。默认输出文件是当前目录的 perf.data,采样范围和频率应尽量限制在问题所需范围内。
基本语法
perf record [<options>] [<command>]<command> 是要在采样期间执行的目标程序;也可以通过选项附着到已有进程或扩大到系统范围。
关键选项
-o <file>:指定采样数据文件,避免覆盖已有的perf.data。-e <event>:指定采样事件,例如软件事件cpu-clock;可用事件取决于当前内核和硬件。-g:记录调用栈,便于后续定位调用路径;栈回溯质量受编译方式和展开机制影响。-p <pid>:只采样指定进程,适合缩小诊断范围。-a:采样所有 CPU,覆盖范围更大,也更容易受到权限限制并增加系统开销。-F <freq>:设置采样频率;频率越高通常数据越细,但运行开销和数据量也会增加。
记录并验证采样文件
下面用 cpu-clock 对一个短时 CPU 工作负载采样,同时记录调用栈。-- 用于结束 perf record 自身的选项解析。
perf record -q -e cpu-clock -g -o perf.data -- dd if=/dev/zero of=/dev/null bs=1M count=256 status=none
test -s perf.data && echo "perf.data ready"预期输出:
perf.data ready这只验证采样文件已经生成且非空;实际样本数量取决于 CPU 性能、采样事件和工作负载持续时间。
风险与恢复
系统级采样、高采样频率或长时间记录可能明显增加 CPU 与存储开销,生产环境应先限制进程、事件和持续时间。如果出现权限拒绝,应检查当前用户的性能事件权限以及 /proc/sys/kernel/perf_event_paranoid 的策略,而不是直接扩大采样范围。
重新执行时可通过 -o 使用新的文件名保留旧证据;确认旧数据不再需要后再删除对应采样文件。
perf report [<options>]读取 perf record 生成的数据并按符号、调用栈等维度聚合热点,适合确认 CPU 时间最终消耗在哪些函数;分析质量取决于采样范围及调试符号是否完整。
分析 perf 采样报告
当已经取得 perf record 生成的采样文件,需要确认 CPU 样本集中在哪些程序、共享对象或函数时使用。perf report 会读取采样数据并聚合热点,--stdio 适合终端、脚本和远程环境中的纯文本分析。
基本语法
perf report [<options>]默认读取当前目录的 perf.data;报告只反映采样文件中已有的数据,不会重新采样系统。
关键选项
--stdio:输出纯文本报告,不进入交互式界面。-i <file>:指定输入采样文件,分析非默认文件时应显式设置。--sort <keys>:控制热点的分组和排序维度,例如按命令、共享对象或符号查看。
常见报告会展示热点占比和符号信息,但具体列名、调用栈呈现方式会随 perf 版本、记录选项和排序设置变化。
生成并验证文本报告
下面先生成一份最小采样数据,再用 perf report --stdio 写入文本文件,避免依赖交互式终端。
perf record -q -e cpu-clock -g -o perf.data -- dd if=/dev/zero of=/dev/null bs=1M count=256 status=none
perf report --stdio -i perf.data > perf-report.txt
test -s perf-report.txt && echo "perf report ready"预期输出:
perf report ready打开 perf-report.txt 后,优先查看占比最高的热点,再结合对应命令、共享对象和符号判断 CPU 时间集中位置。百分比和符号名称属于动态结果,不能跨机器或工作负载直接照搬。
符号与调用栈边界
如果报告大量出现 [unknown]、缺少函数名或调用路径不完整,不应据此直接判断具体函数是热点。应确认被分析二进制、共享库以及与其匹配的调试符号仍然可用,并检查 perf record 是否实际记录了调用栈。
跨主机离线分析时还要保留与采样时匹配的二进制和符号环境;仅复制 perf.data 可能不足以完整还原符号。原始采样文件应在确认报告可信之前保留,以便调整排序或符号环境后重新分析。
strace [options] [command [argument...]]跟踪进程发起的系统调用、返回值和耗时,适合定位文件、网络、锁等待及频繁失败调用;对高频生产进程可能产生明显开销,应限制范围和观察时间。
跟踪系统调用
当进程表现为打开文件失败、网络调用异常、频繁重试或长时间停在内核调用时,可用 strace 观察系统调用、返回值和耗时。生产环境优先缩小调用类别并限制观察时间,避免全量跟踪高频进程。
基本语法
strace [options] [command [argument...]]直接给出命令时,strace 启动并跟踪该命令;诊断已有进程时通常使用 -p <PID> 附加。能否附加受系统的 ptrace 安全策略、用户权限和容器能力限制影响。
关键选项
-p <PID>:附加到正在运行的进程,适合在线定位,但会给目标进程增加跟踪开销。-f:继续跟踪目标创建的子进程或线程,排查多进程程序时常用,同时会明显增加输出量。-e trace=<set>:只跟踪指定系统调用或类别,用于缩小范围。例如文件或网络问题应优先过滤,而不是长期全量跟踪。-T:显示每次系统调用在内核侧消耗的时间,适合寻找异常慢调用。-c:不逐条打印调用,而是在结束时汇总调用次数、错误数和耗时,适合先判断热点。-o <PATH>:把跟踪结果写入文件,避免大量诊断信息与当前终端输出混在一起。
高频示例
先用汇总模式观察一个短命令,可以快速确认哪些系统调用占用时间较多,同时避免逐条输出造成大量日志:
strace -c ls >/dev/null预期结果:ls 的标准输出被丢弃,strace 在标准错误中打印系统调用汇总。具体调用名称、次数和耗时会随内核、C 库、动态链接器及目录内容变化,重点读取 calls、errors、耗时占比以及最后的 total 行。
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
<TIME> <TIME> <TIME> <COUNT> <COUNT> <SYSCALL>
...
100.00 <TIME> <COUNT> <COUNT> total发现某类调用异常后,再针对性使用 -e trace=<set> 或 -T 做短时间细查;不要一开始就在繁忙服务上启用 -f 加全量逐条跟踪。
风险与恢复
strace 依赖 ptrace,每次被跟踪的系统调用都可能产生额外上下文切换和数据复制;系统调用频率很高时,延迟和吞吐量可能明显恶化。权限不足出现 Operation not permitted 时,应先检查目标进程归属、系统 ptrace 策略及容器权限,不要通过放宽全局安全策略来绕过限制。