计算机网络 / 系统课时
给服务加入性能观测指标
给服务加入性能观测指标
高性能网络服务如果只看吞吐量,很难判断瓶颈究竟在连接、事件循环、业务处理还是排队。本节建立一组低成本指标,并给出可运行的埋点示例,让压测结果能够对应到明确的运行状态。
学习目标
- 区分连接数、请求数、事件数、错误数、队列长度与处理延迟的指标语义。
- 在热路径选择稳定、低开销的采样点,避免重复计数。
- 用压测数据校验指标是否可信,并据此识别饱和与排队。
先把指标和问题一一对应
指标不是越多越好,先为每个问题定义一个可验证的量。连接数和队列长度是瞬时状态,适合 Gauge;请求数、事件数和错误数只增不减,适合 Counter;处理延迟需要观察分布,适合 Histogram。
| 指标 | 类型 | 主要回答的问题 |
|---|---|---|
connections_active |
Gauge | 当前有多少已建立且未关闭的连接 |
requests_total |
Counter | 服务实际接收并处理了多少完整请求 |
events_total |
Counter | 事件循环处理了多少就绪事件或完成事件 |
request_latency_us |
Histogram | 请求处理时间主要落在哪些区间 |
errors_total |
Counter | 处理链路累计出现多少错误 |
queue_length |
Gauge | 当前还有多少任务等待被消费 |
在热路径做低成本埋点
下面示例用原子变量维护六类指标,并用固定延迟桶记录处理时长。示例故意不依赖监控 SDK,便于看清计数语义;接入 Prometheus、OpenTelemetry 或自研导出器时,可以保留相同的埋点位置。
#include <array>
#include <atomic>
#include <cstdint>
#include <cstddef>
#include <iostream>
class Metrics {
public:
Metrics() {
// atomic 数组显式清零,避免依赖默认初始化语义。
for (auto& bucket : latency_buckets_) {
bucket.store(0, std::memory_order_relaxed);
}
}
void observe_latency_us(std::uint64_t us) {
latency_count_.fetch_add(1, std::memory_order_relaxed);
latency_sum_us_.fetch_add(us, std::memory_order_relaxed);
// 每个桶保存“<= 上界”的累计数量,最后一个桶代表 +Inf。
const std::array<std::uint64_t, 4> bounds{100, 500, 1000, 5000};
for (std::size_t i = 0; i < bounds.size(); ++i) {
if (us <= bounds[i]) {
latency_buckets_[i].fetch_add(1, std::memory_order_relaxed);
}
}
latency_buckets_[4].fetch_add(1, std::memory_order_relaxed);
}
void dump() const {
std::cout << "connections_active " << connections_active.load() << '\n';
std::cout << "requests_total " << requests_total.load() << '\n';
std::cout << "events_total " << events_total.load() << '\n';
std::cout << "errors_total " << errors_total.load() << '\n';
std::cout << "queue_length " << queue_length.load() << '\n';
std::cout << "request_latency_us_bucket{le=\"100\"} "
<< latency_buckets_[0].load() << '\n';
std::cout << "request_latency_us_bucket{le=\"500\"} "
<< latency_buckets_[1].load() << '\n';
std::cout << "request_latency_us_bucket{le=\"1000\"} "
<< latency_buckets_[2].load() << '\n';
std::cout << "request_latency_us_bucket{le=\"5000\"} "
<< latency_buckets_[3].load() << '\n';
std::cout << "request_latency_us_bucket{le=\"+Inf\"} "
<< latency_buckets_[4].load() << '\n';
std::cout << "request_latency_us_count " << latency_count_.load() << '\n';
std::cout << "request_latency_us_sum " << latency_sum_us_.load() << '\n';
}
std::atomic<std::uint64_t> connections_active{0};
std::atomic<std::uint64_t> requests_total{0};
std::atomic<std::uint64_t> events_total{0};
std::atomic<std::uint64_t> errors_total{0};
std::atomic<std::uint64_t> queue_length{0};
private:
std::array<std::atomic<std::uint64_t>, 5> latency_buckets_;
std::atomic<std::uint64_t> latency_count_{0};
std::atomic<std::uint64_t> latency_sum_us_{0};
};
int main() {
Metrics metrics;
// 模拟一条连接内处理两个请求,其中第二个请求失败。
metrics.connections_active.fetch_add(1);
metrics.events_total.fetch_add(3);
metrics.queue_length.store(2);
metrics.requests_total.fetch_add(1);
metrics.observe_latency_us(420);
metrics.queue_length.store(1);
metrics.requests_total.fetch_add(1);
metrics.errors_total.fetch_add(1);
metrics.observe_latency_us(1200);
metrics.queue_length.store(0);
metrics.connections_active.fetch_sub(1);
metrics.dump();
}预期输出
connections_active 0
requests_total 2
events_total 3
errors_total 1
queue_length 0
request_latency_us_bucket{le="100"} 0
request_latency_us_bucket{le="500"} 1
request_latency_us_bucket{le="1000"} 1
request_latency_us_bucket{le="5000"} 2
request_latency_us_bucket{le="+Inf"} 2
request_latency_us_count 2
request_latency_us_sum 1620这个示例使用 memory_order_relaxed,因为这些计数器只承担统计职责,不参与业务状态同步。真正的连接表、任务队列和协议状态仍要使用各自正确的同步机制,不能把“指标原子化”误当成“业务线程安全”。
把采样点放在正确位置
连接数应在 accept 成功并纳入连接管理后加一,在连接真正释放时减一,而且每条连接只能减一次。请求数应在协议层确认收到一个完整请求时递增,不要把一次 read 或一次事件通知当成一次请求。
事件数要按 I/O 模型定义清楚:epoll 可以统计返回的就绪事件数量,io_uring 可以统计完成队列中消费的 CQE 数量。两者语义不同,所以跨实现比较时应同时保留业务请求数,避免把“事件更少”误解成“吞吐更高”。
延迟边界也必须固定。例如从“完整请求已解析”开始,到“响应已提交给发送队列”结束,就只衡量服务内部处理时间;如果希望观察端到端延迟,则应由压测端测量。队列长度则在入队、出队时更新,用来识别生产速度是否持续超过消费速度。
用压测结果检查指标是否可信
先做低负载基线,再逐步加压。低负载时,requests_total 应与压测端成功请求数基本一致,连接结束后 connections_active 应回落到基线,errors_total 不应无原因增长。若这些最基本的守恒关系都不成立,后面的性能结论就没有可信度。
进入饱和区后重点观察三个信号:吞吐是否停止增长、延迟高分位是否快速抬升、queue_length 是否持续积累。若 CPU 已满但队列仍增长,通常表示处理能力不足;若 CPU 不高而事件数异常密集,则要继续检查空轮询、惊群、短读写或过细的任务拆分。
最终应让“压测端看到的吞吐和延迟”与“服务内部看到的连接、事件、错误和排队”能够相互解释。只有指标定义稳定,后续比较 epoll 与 io_uring 才有意义。