操作系统 / 系统课时

定位互斥锁竞争与睡眠等待

定位互斥锁竞争与睡眠等待

“线程很多但 CPU 不高、请求却卡住”常见于锁竞争:部分线程占着锁,更多线程睡在 futex 上,还有线程虽然可运行却迟迟拿不到 CPU。本节用一个锁热点程序建立诊断顺序,把线程状态、调用栈和 futex 事件拼成同一条证据链。

学习目标

  • 用线程状态和调度延迟区分正在执行、可运行以及睡眠等待的线程。
  • 通过调用栈定位哪个互斥锁和哪段临界区形成热点。
  • 用 futex wait/wake 事件验证“线程确实因锁竞争睡眠”,而不是把所有停顿都归因于调度。

先制造一个稳定的锁热点

下面的程序启动 6 个工作线程。每个线程都反复抢同一把互斥锁,并故意在临界区内忙算约 20 ms;这样通常会出现一个持锁线程持续占用 CPU、多个线程睡在锁上,便于观察。

c
#define _GNU_SOURCE
#include <pthread.h>
#include <signal.h>
#include <stdio.h>
#include <time.h>
#include <unistd.h>

static pthread_mutex_t hot_lock = PTHREAD_MUTEX_INITIALIZER;
static volatile sig_atomic_t running = 1;

static void stop(int sig) {
    running = 0;
}

static void burn_ms(long ms) {
    struct timespec start, now;
    clock_gettime(CLOCK_MONOTONIC, &start);
    do {
        clock_gettime(CLOCK_MONOTONIC, &now);
    } while ((now.tv_sec - start.tv_sec) * 1000L +
             (now.tv_nsec - start.tv_nsec) / 1000000L < ms);
}

static void *worker(void *arg) {
    while (running) {
        pthread_mutex_lock(&hot_lock);
        burn_ms(20);  // 故意延长临界区,制造热点锁
        pthread_mutex_unlock(&hot_lock);
        usleep(1000);
    }
    return NULL;
}

int main(void) {
    pthread_t threads[6];
    signal(SIGINT, stop);
    printf("PID=%d\n", getpid());
    fflush(stdout);

    for (int i = 0; i < 6; ++i) {
        pthread_create(&threads[i], NULL, worker, NULL);
    }
    for (int i = 0; i < 6; ++i) {
        pthread_join(threads[i], NULL);
    }
    return 0;
}

编译后先直接运行,让进程保持活动状态:

bash
gcc -O0 -g -pthread lock_hotspot.c -o lock_hotspot
./lock_hotspot

预期输出

text
PID=<ID>

记录实际 PID,并保持该终端运行;结束实验时按 Ctrl+C。

先用线程状态缩小范围

在另一个终端查看所有线程的状态和内核等待点:

bash
ps -L -p <ID> -o pid,tid,psr,stat,wchan:24,comm

预期结果

text
    PID     TID PSR STAT WCHAN                    COMMAND
   <ID>    <ID>   2 Sl   futex_wait_queue        lock_hotspot
   <ID>    <ID>   4 Sl   futex_wait_queue        lock_hotspot
   <ID>    <ID>   6 Rl   -                       lock_hotspot
   <ID>    <ID>   1 Sl   futex_wait_queue        lock_hotspot

S 表示可中断睡眠,wchan 若落在 futex 等待函数附近,说明线程正在内核里等某个同步条件。R 只表示“正在 CPU 上运行或已经可运行”,单次 ps 快照无法继续区分这两种情况;若必须分开判断,需要观察调度事件。

互斥锁竞争诊断的线程状态、调用栈与 futex 证据链

用调用栈找到正在等哪把锁

只有状态还不够,因为“睡眠”可能来自互斥锁、条件变量、IO 或定时器。最直接的做法是暂停进程并抓全部线程调用栈。下面命令需要安装 GDB,并且系统的 ptrace 权限必须允许附加;权限不足时可在受控测试环境中使用 sudo。

bash
gdb -q -p <ID> -batch \
  -ex "set pagination off" \
  -ex "thread apply all bt"

预期结果

text
Thread <ID>:
#0  futex_wait (...)
#1  __pthread_mutex_lock_full (...)
#2  worker (...)
#3  start_thread (...)

Thread <ID>:
#0  clock_gettime (...)
#1  burn_ms (...)
#2  worker (...)
#3  start_thread (...)

这里最关键的不是函数名是否逐字一致,而是多条线程栈是否集中在 pthread_mutex_lock 一侧,以及是否能找到另一个线程正处在同一业务临界区。glibc 版本不同,内部帧可能显示为 futex_wait、__futex_abstimed_wait_common 或其他实现细节。

用 futex 事件确认阻塞与唤醒

如果调用栈已经指向互斥锁,再用 strace 验证是否真的发生内核睡眠。附加到现有进程同样受 ptrace 权限限制;在生产环境应先评估跟踪开销,并优先缩短采样时间。

bash
timeout 3 strace -f -tt -e trace=futex -p <ID>

预期结果

text
strace: Process <ID> attached with 7 threads
[pid <ID>] <TIME> futex(0x<ADDR>, FUTEX_WAIT_PRIVATE, 2, NULL <unfinished ...>
[pid <ID>] <TIME> futex(0x<ADDR>, FUTEX_WAKE_PRIVATE, 1) = 1
[pid <ID>] <TIME> <... futex resumed>) = 0

如果大量线程反复在同一个 0x<ADDR> 上 WAIT,而 WAKE 总由少数线程触发,就基本能确认锁形成了热点。若线程是 S 状态但没有对应 futex 等待,则应转向 IO、条件变量、定时器或其他睡眠原因,不要因为看见“睡眠”就直接判定为互斥锁。

把运行、可运行和睡眠分开判断

要把 R 中的“正在运行”和“已经可运行但等 CPU”拆开,可以短时间记录调度事件。下面示例需要系统安装 perf,并可能需要提升性能事件权限。

bash
sudo perf sched record -p <ID> -- sleep 3
sudo perf sched timehist -p <ID>

预期结果

text
time             cpu  task name              wait time  sch delay  run time
<TIME>           [002] lock_hotspot[<ID>]    <TIME> ms  <TIME> ms  <TIME> ms
<TIME>           [004] lock_hotspot[<ID>]    <TIME> ms  <TIME> ms  <TIME> ms

run time 是线程实际占用 CPU 的时间片,sch delay 是线程已经被唤醒、处于 runnable 状态但尚未获得 CPU 的延迟;明显的 sch delay 才是“可运行但在排队”的直接证据。长时间睡眠则会体现在等待阶段,并可与前面的 futex 栈和事件对应起来。

观察到的现象 能说明什么 还不能说明什么
STAT=R 线程正在运行或处于可运行队列 单次快照无法区分 running 与 runnable
STAT=S 且 wchan 为 futex 线程正在同步等待路径睡眠 不能仅凭名称确定是哪一把业务锁
多条栈停在 pthread_mutex_lock 多线程竞争某个互斥锁的可能性很高 仍需结合业务帧或 futex 事件确认热点
同一地址高频 FUTEX_WAIT/WAKE 竞争已经进入内核慢路径 不代表 futex 本身就是根因
sch delay 持续偏高 runnable 线程长时间排队等待 CPU 需要继续判断 CPU 饱和、优先级或绑核问题

最终修复通常落在临界区:把耗时操作移出锁、拆分粗粒度锁、降低共享热点、缩短持锁时间,或者把共享写路径改成分片/单写者模型。修复后再重复同样的状态、栈、futex 与调度采样,确认等待线程和调度延迟下降,才算真正关闭问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定位互斥锁竞争与睡眠等待

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通