计算机网络 / 系统课时

先测吞吐和延迟再谈优化

先测吞吐和延迟再谈优化

性能优化前先固定服务、压测参数与观测窗口。本节用一条最小链路同时采集并发连接、吞吐、延迟和 CPU,让每次改动都有可比较的基线,而不是只凭“感觉更快”做判断。

学习目标

  • 建立包含连接数、吞吐、延迟和 CPU 的最小性能基线。
  • 能用固定压测参数重复得到可比较的数据。
  • 能根据多项指标判断优化是否真的有效,而不是只看单个 RPS。

先固定可比较的基线

性能数字只有在测试条件一致时才有意义。至少固定服务版本、请求内容、压测时长、线程数、目标并发和运行机器;同一轮对比中不要一边改代码,一边又改变压测参数。

最小基线建议记录四类指标:目标并发连接数、实际吞吐 Requests/sec、延迟分位数以及服务进程 CPU。平均延迟容易掩盖尾部抖动,因此至少同时保留 p50 与 p99。

指标 关注的问题
并发连接 服务在什么负载规模下被测量
吞吐 单位时间处理了多少请求
p50 / p99 延迟 典型请求与尾部请求分别有多慢
CPU 吞吐增长是否以更多计算资源为代价

建立最小压测链路

一条可解释的压测链路至少包含负载发生器、被测服务和观测工具。wrk 负责产生请求并给出吞吐和延迟;pidstat 观察服务进程 CPU;ss 在压测进行中采样服务端 TCP Socket 数量。

最小网络性能基线的数据流与观测点

只看吞吐无法判断系统状态。例如 RPS 提高 10%,但 p99 翻倍或 CPU 从 50% 升到 95%,这种变化不一定是可接受的优化。基线的价值在于把“快了多少”和“付出了什么代价”同时记录下来。

跑一次可复现的基线

下面的主示例会临时创建一个返回固定 ok 的 HTTP 服务,然后先预热,再同时运行 wrk、pidstat 和 ss。需要 Linux、Python 3、wrk、pidstat 与 ss;其中 pidstat 通常由 sysstat 软件包提供。

把 <PORT> 替换成本机未占用的数字端口后执行,实际端口可以不同:

bash
set -euo pipefail

PORT="<PORT>"
WORKDIR="$(mktemp -d)"

for cmd in python3 wrk pidstat ss; do
  command -v "$cmd" >/dev/null || {
    echo "missing command: $cmd" >&2
    exit 1
  }
done

cat >"$WORKDIR/server.py" <<'EOF_PY'
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
import sys

class Handler(BaseHTTPRequestHandler):
    protocol_version = "HTTP/1.1"

    def do_GET(self):
        body = b"ok\n"
        self.send_response(200)
        self.send_header("Content-Type", "text/plain")
        self.send_header("Content-Length", str(len(body)))
        self.end_headers()
        self.wfile.write(body)

    def log_message(self, fmt, *args):
        pass

port = int(sys.argv[1])
ThreadingHTTPServer(("127.0.0.1", port), Handler).serve_forever()
EOF_PY

python3 "$WORKDIR/server.py" "$PORT" >"$WORKDIR/server.log" 2>&1 &
SERVER_PID=$!
trap 'kill "$SERVER_PID" 2>/dev/null || true; rm -rf "$WORKDIR"' EXIT
sleep 1

wrk -t1 -c16 -d2s "http://127.0.0.1:${PORT}/" >/dev/null

pidstat -u -p "$SERVER_PID" 1 10 >"$WORKDIR/cpu.txt" &
PIDSTAT_PID=$!

wrk -t2 -c64 -d10s --latency "http://127.0.0.1:${PORT}/" >"$WORKDIR/wrk.txt" &
WRK_PID=$!

sleep 2
CONNECTIONS="$(ss -Htan "sport = :${PORT}" | wc -l)"

wait "$WRK_PID"
wait "$PIDSTAT_PID"

cat "$WORKDIR/wrk.txt"
echo "sampled_tcp_connections=$CONNECTIONS"
tail -n 3 "$WORKDIR/cpu.txt"

预期输出

text
Running 10s test @ http://127.0.0.1:<PORT>/
Latency Distribution
     50%    <P50>
     99%    <P99>
Requests/sec: <RPS>
sampled_tcp_connections=<CONNECTIONS>
Average: ... <PID> ... <CPU_PERCENT> ...

<P50>、<P99>、<RPS>、<CONNECTIONS>、<PID> 与 <CPU_PERCENT> 都会随机器和负载变化。这里不追求某个“标准答案”,而是确认每次测试都能稳定产出同一组维度。

用多项指标判断优化是否成立

比较两个版本时,先看压测条件是否完全一致,再看吞吐与延迟是否共同改善。若 RPS 上升且 p99 不恶化,同时 CPU 持平或下降,通常说明单位资源处理能力确实提高;若吞吐上升只是因为 CPU 使用率明显增加,则要判断这是不是预期的资源换性能。

CPU 已接近单核或多核上限、同时延迟持续上升,说明服务可能进入计算或调度饱和区;CPU 很低但吞吐上不去,则还需要继续检查锁竞争、网络等待、连接限制或其他 I/O。单个指标只能给方向,不能直接证明根因。

ss 的采样值也不要机械等同于 wrk -c64。前者看到的是采样时刻符合过滤条件的服务端 TCP Socket,连接建立与关闭、协议复用和采样时机都会让它与目标并发不同。

让每次优化都能复测

把基线结果和版本信息放在同一条记录中,至少保留代码版本、压测命令、机器信息和核心指标。后续每次只改变一个主要因素,例如事件循环策略、缓冲区大小或线程数量,再使用完全相同的负载重新测量。

版本 并发 RPS p50 p99 CPU
baseline 64 <RPS_BASE> <P50_BASE> <P99_BASE> <CPU_BASE>
changed 64 <RPS_NEW> <P50_NEW> <P99_NEW> <CPU_NEW>

当这张表能回答“吞吐是否提高、尾延迟是否恶化、CPU 代价是否变化”时,才具备继续讨论 epoll、Reactor 或 io_uring 优化效果的可靠起点。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

先测吞吐和延迟再谈优化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通