操作系统 / 系统课时
定位互斥锁竞争与睡眠等待
定位互斥锁竞争与睡眠等待
“线程很多但 CPU 不高、请求却卡住”常见于锁竞争:部分线程占着锁,更多线程睡在 futex 上,还有线程虽然可运行却迟迟拿不到 CPU。本节用一个锁热点程序建立诊断顺序,把线程状态、调用栈和 futex 事件拼成同一条证据链。
学习目标
- 用线程状态和调度延迟区分正在执行、可运行以及睡眠等待的线程。
- 通过调用栈定位哪个互斥锁和哪段临界区形成热点。
- 用 futex wait/wake 事件验证“线程确实因锁竞争睡眠”,而不是把所有停顿都归因于调度。
先制造一个稳定的锁热点
下面的程序启动 6 个工作线程。每个线程都反复抢同一把互斥锁,并故意在临界区内忙算约 20 ms;这样通常会出现一个持锁线程持续占用 CPU、多个线程睡在锁上,便于观察。
#define _GNU_SOURCE
#include <pthread.h>
#include <signal.h>
#include <stdio.h>
#include <time.h>
#include <unistd.h>
static pthread_mutex_t hot_lock = PTHREAD_MUTEX_INITIALIZER;
static volatile sig_atomic_t running = 1;
static void stop(int sig) {
running = 0;
}
static void burn_ms(long ms) {
struct timespec start, now;
clock_gettime(CLOCK_MONOTONIC, &start);
do {
clock_gettime(CLOCK_MONOTONIC, &now);
} while ((now.tv_sec - start.tv_sec) * 1000L +
(now.tv_nsec - start.tv_nsec) / 1000000L < ms);
}
static void *worker(void *arg) {
while (running) {
pthread_mutex_lock(&hot_lock);
burn_ms(20); // 故意延长临界区,制造热点锁
pthread_mutex_unlock(&hot_lock);
usleep(1000);
}
return NULL;
}
int main(void) {
pthread_t threads[6];
signal(SIGINT, stop);
printf("PID=%d\n", getpid());
fflush(stdout);
for (int i = 0; i < 6; ++i) {
pthread_create(&threads[i], NULL, worker, NULL);
}
for (int i = 0; i < 6; ++i) {
pthread_join(threads[i], NULL);
}
return 0;
}编译后先直接运行,让进程保持活动状态:
gcc -O0 -g -pthread lock_hotspot.c -o lock_hotspot
./lock_hotspot预期输出
PID=<ID>记录实际 PID,并保持该终端运行;结束实验时按 Ctrl+C。
先用线程状态缩小范围
在另一个终端查看所有线程的状态和内核等待点:
ps -L -p <ID> -o pid,tid,psr,stat,wchan:24,comm预期结果
PID TID PSR STAT WCHAN COMMAND
<ID> <ID> 2 Sl futex_wait_queue lock_hotspot
<ID> <ID> 4 Sl futex_wait_queue lock_hotspot
<ID> <ID> 6 Rl - lock_hotspot
<ID> <ID> 1 Sl futex_wait_queue lock_hotspotS 表示可中断睡眠,wchan 若落在 futex 等待函数附近,说明线程正在内核里等某个同步条件。R 只表示“正在 CPU 上运行或已经可运行”,单次 ps 快照无法继续区分这两种情况;若必须分开判断,需要观察调度事件。

用调用栈找到正在等哪把锁
只有状态还不够,因为“睡眠”可能来自互斥锁、条件变量、IO 或定时器。最直接的做法是暂停进程并抓全部线程调用栈。下面命令需要安装 GDB,并且系统的 ptrace 权限必须允许附加;权限不足时可在受控测试环境中使用 sudo。
gdb -q -p <ID> -batch \
-ex "set pagination off" \
-ex "thread apply all bt"预期结果
Thread <ID>:
#0 futex_wait (...)
#1 __pthread_mutex_lock_full (...)
#2 worker (...)
#3 start_thread (...)
Thread <ID>:
#0 clock_gettime (...)
#1 burn_ms (...)
#2 worker (...)
#3 start_thread (...)这里最关键的不是函数名是否逐字一致,而是多条线程栈是否集中在 pthread_mutex_lock 一侧,以及是否能找到另一个线程正处在同一业务临界区。glibc 版本不同,内部帧可能显示为 futex_wait、__futex_abstimed_wait_common 或其他实现细节。
用 futex 事件确认阻塞与唤醒
如果调用栈已经指向互斥锁,再用 strace 验证是否真的发生内核睡眠。附加到现有进程同样受 ptrace 权限限制;在生产环境应先评估跟踪开销,并优先缩短采样时间。
timeout 3 strace -f -tt -e trace=futex -p <ID>预期结果
strace: Process <ID> attached with 7 threads
[pid <ID>] <TIME> futex(0x<ADDR>, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
[pid <ID>] <TIME> futex(0x<ADDR>, FUTEX_WAKE_PRIVATE, 1) = 1
[pid <ID>] <TIME> <... futex resumed>) = 0如果大量线程反复在同一个 0x<ADDR> 上 WAIT,而 WAKE 总由少数线程触发,就基本能确认锁形成了热点。若线程是 S 状态但没有对应 futex 等待,则应转向 IO、条件变量、定时器或其他睡眠原因,不要因为看见“睡眠”就直接判定为互斥锁。
把运行、可运行和睡眠分开判断
要把 R 中的“正在运行”和“已经可运行但等 CPU”拆开,可以短时间记录调度事件。下面示例需要系统安装 perf,并可能需要提升性能事件权限。
sudo perf sched record -p <ID> -- sleep 3
sudo perf sched timehist -p <ID>预期结果
time cpu task name wait time sch delay run time
<TIME> [002] lock_hotspot[<ID>] <TIME> ms <TIME> ms <TIME> ms
<TIME> [004] lock_hotspot[<ID>] <TIME> ms <TIME> ms <TIME> msrun time 是线程实际占用 CPU 的时间片,sch delay 是线程已经被唤醒、处于 runnable 状态但尚未获得 CPU 的延迟;明显的 sch delay 才是“可运行但在排队”的直接证据。长时间睡眠则会体现在等待阶段,并可与前面的 futex 栈和事件对应起来。
| 观察到的现象 | 能说明什么 | 还不能说明什么 |
|---|---|---|
STAT=R |
线程正在运行或处于可运行队列 | 单次快照无法区分 running 与 runnable |
STAT=S 且 wchan 为 futex |
线程正在同步等待路径睡眠 | 不能仅凭名称确定是哪一把业务锁 |
多条栈停在 pthread_mutex_lock |
多线程竞争某个互斥锁的可能性很高 | 仍需结合业务帧或 futex 事件确认热点 |
同一地址高频 FUTEX_WAIT/WAKE |
竞争已经进入内核慢路径 | 不代表 futex 本身就是根因 |
sch delay 持续偏高 |
runnable 线程长时间排队等待 CPU | 需要继续判断 CPU 饱和、优先级或绑核问题 |
最终修复通常落在临界区:把耗时操作移出锁、拆分粗粒度锁、降低共享热点、缩短持锁时间,或者把共享写路径改成分片/单写者模型。修复后再重复同样的状态、栈、futex 与调度采样,确认等待线程和调度延迟下降,才算真正关闭问题。