架构与系统设计 / 系统课时

监控与告警

监控与告警

支付平台的监控不能只看 CPU 和接口耗时,还要回答“订单是否成功、资金是否一致、故障影响了谁”。本课将把业务指标、应用指标、日志、链路追踪和分级告警连接成一套可落地的观测体系。

学习目标

  • 能按业务、应用和基础设施三个层次设计监控指标
  • 能通过统一字段串联指标、日志与调用链
  • 能制定有优先级、可执行且不过度打扰的告警规则

从业务结果倒推监控

监控设计应从用户和资金结果开始,而不是从机器资源开始。支付链路至少要回答四个问题:请求有没有进入、订单有没有完成、渠道有没有异常、账务有没有保持一致。

层次 关键指标 典型问题
业务 支付成功率、退款成功率、订单收敛率、对账差错数 用户是否能完成支付,资金结果是否正确
应用 请求量、错误率、P95/P99 延迟、线程池与连接池使用率 哪个服务正在退化
基础设施 CPU、内存、磁盘、网络、数据库与消息队列状态 运行环境是否成为瓶颈

支付平台统一观测链路

业务指标必须按合理维度拆分,例如支付成功率既看全局,也看通道、支付方式、地区和商户。维度过少会掩盖局部故障,维度过多则会造成高基数和存储膨胀,因此订单号、请求号等唯一值不应作为指标标签。

指标埋点与验证

Spring Boot 项目可使用 Micrometer 记录业务计数器和耗时。下面是片段示例,依赖 spring-boot-starter-actuator 与 Prometheus Registry,由交易服务在收到最终支付结果时调用。

java
package com.example.payment.monitoring;

import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.MeterRegistry;
import io.micrometer.core.instrument.Timer;

import java.time.Duration;

public final class PaymentMetrics {

    private final MeterRegistry registry;

    public PaymentMetrics(MeterRegistry registry) {
        this.registry = registry;
    }

    public void recordResult(String channel, String payMethod, boolean success, Duration latency) {
        String result = success ? "success" : "failure";

        Counter.builder("payment_result_total")
                .tag("channel", channel)
                .tag("pay_method", payMethod)
                .tag("result", result)
                .register(registry)
                .increment();

        Timer.builder("payment_latency")
                .tag("channel", channel)
                .tag("pay_method", payMethod)
                .register(registry)
                .record(latency);
    }
}

应用暴露 /actuator/prometheus 后,可使用以下命令验证。实际端口可能不同,应将 <PORT> 替换为服务端口。

bash
curl -s http://127.0.0.1:<PORT>/actuator/prometheus | grep payment_result_total

预期输出

text
payment_result_total{channel="channel-a",pay_method="CARD",result="success"} 1.0

计数器用于累计结果,Timer 用于统计延迟分布。告警通常不要直接盯单次失败,而应基于时间窗口计算失败率,并同时设置最小请求量,避免低流量时被少量失败放大。

日志与链路追踪

日志应采用结构化输出,并在网关生成或透传 traceId。支付链路建议统一记录 traceId、requestId、merchantNo、orderNo、channelOrderNo、service、result 和 costMs,同时对卡号、证件号、密钥和完整手机号脱敏。

排查时先从业务异常找到订单号,再检索日志定位失败服务,最后打开调用链查看耗时和错误节点。指标负责发现问题,日志负责解释上下文,Trace 负责还原跨服务路径,三者不能互相替代。

Tips:不要把完整请求体无条件写入日志。支付报文可能包含敏感数据,应通过字段白名单、脱敏和采样控制风险。

分级告警与降噪

告警必须包含严重级别、触发条件、持续时间、影响范围、处理人和排查入口。没有明确动作的告警只是噪声。

级别 示例 通知与处理
P0 全局支付成功率持续 5 分钟低于 60% 电话加即时消息,立即响应并启动应急流程
P1 单一主通道错误率持续 10 分钟高于 20% 即时消息通知值班人员,评估切换通道
P2 非核心接口 P95 延迟持续升高 工单或群消息,工作时段处理

规则应同时配置持续时间、恢复通知、告警抑制和聚合。例如数据库故障已触发 P0 时,可抑制由它引发的多个下游超时告警;同一通道、同一故障类型应聚合成一条事件,避免值班人员被重复通知淹没。

验收清单

上线前至少完成一次故障演练:人为制造通道超时或依赖不可用,确认业务指标下降、日志能按订单号检索、Trace 能看到失败节点、告警能到达正确人员,并在恢复后自动发送恢复通知。

还应检查仪表盘是否覆盖正常基线、峰值和异常区间。只有知道“正常是什么样”,异常曲线才有判断价值。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

监控与告警

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通