可观测性与稳定性 / 系统课时

逐层验证服务与业务链路

逐层验证服务与业务链路

恢复后的服务器能启动,并不代表业务已经恢复。可靠的验收应从主机和网络开始,逐层检查数据库、应用、后台任务,最后执行关键业务操作。这样一旦失败,可以快速判断故障停在哪一层,而不是直接从用户页面猜原因。

学习目标

  • 按主机、网络、数据库、应用、任务和业务操作的顺序执行恢复验证
  • 使用可重复的命令为每一层留下验证证据
  • 区分“进程存活”“服务可用”和“业务链路正确”

按依赖关系逐层验证

恢复验证应沿依赖链向上推进。主机异常时没有必要先排查应用接口;数据库尚未可用时,应用健康检查失败也可能只是下游依赖造成的结果。只有当前层通过,才继续验证依赖它的上一层。

灾难恢复后的逐层验证流程

这种顺序的价值在于缩小故障域。例如 HTTP 请求超时可能来自应用、数据库,也可能只是路由错误;先验证网络和数据库后,再检查 HTTP,能够排除大量无关原因。

检查主机和网络

先确认关键文件系统已经挂载、磁盘没有异常耗尽,并验证目标主机名能够解析和建立网络连接。下面的命令是一个最小检查组合,其中 <HOST>、<PORT> 和 <PATH> 需要替换为恢复环境的实际值。

bash
df -h <PATH>
getent hosts <HOST>
nc -zv <HOST> <PORT>

预期输出

text
Filesystem      Size  Used Avail Use% Mounted on
<DEVICE>        <SIZE> <USED> <AVAIL> <USE%> <PATH>
<IP>            <HOST>
Connection to <HOST> <PORT> port [tcp/*] succeeded!

输出格式会因系统和 nc 实现略有不同。重点是挂载点存在、名称解析到预期地址,并且目标端口能够建立连接。若这一层失败,应先处理存储、DNS、路由、防火墙或监听端口问题。

验证数据库和应用

网络通过后,再验证数据库是否真的能执行查询,而不是只检查数据库进程是否存在。以 PostgreSQL 为例,可执行只读查询:

bash
psql -h <HOST> -d appdb -c 'SELECT 1 AS db_ready;'

预期输出

text
 db_ready
----------
        1
(1 row)

随后检查应用自己的健康端点。健康检查最好覆盖应用初始化所需的关键依赖,而不是仅返回固定的 200:

bash
curl -i http://<HOST>:<PORT>/health

预期输出

text
HTTP/1.1 200 OK
<HEADERS>

<BODY>

<HEADERS> 和 <BODY> 由实际应用决定。验收标准应提前定义,例如 HTTP 状态为 200,并且响应内容明确表示服务就绪;不要编造不存在的固定 JSON 字段作为成功依据。

检查后台任务

定时任务、消息消费者和异步工作进程很容易在恢复验收中被遗漏。它们即使处于运行状态,也可能因为凭据、队列地址或恢复后的时间偏移而无法处理任务。

对于由 systemd 管理的工作进程,可以先检查状态:

bash
systemctl is-active app-worker

预期输出

text
active

active 只证明进程管理器认为服务正在运行。还应检查恢复后是否产生新的成功任务记录、队列积压是否变化,以及任务是否出现重复执行。涉及付款、通知或数据同步时,在正式解除隔离前尤其要确认幂等机制有效。

执行关键业务操作

最后一层必须从用户或调用方视角验证完整链路。选择风险可控、结果可撤销的操作,例如使用专用测试账号创建一条测试记录,再通过查询接口读取它。不要在恢复验证中直接执行真实扣款、批量通知等不可逆操作。

bash
curl -i -X POST http://<HOST>:<PORT>/api/recovery-checks -H 'Content-Type: application/json' -d '{"name":"dr-validation"}'

预期结果

text
HTTP/1.1 <SUCCESS_STATUS>
<HEADERS>

<RESPONSE_BODY>

<SUCCESS_STATUS>、<HEADERS> 和 <RESPONSE_BODY> 必须以真实接口契约为准。随后应读取刚创建的数据,确认请求经过应用、数据库及必要依赖后仍能得到一致结果,并清理测试数据。

用失败位置决定下一步

验证失败时,不要继续向上层执行并堆积噪声。主机或存储失败就留在基础设施层;端口不通先检查网络与监听;数据库查询失败再检查恢复数据、权限和连接配置;只有这些层都正常后,才把问题收敛到应用或业务逻辑。

恢复验收的最终依据不是某一个绿色状态,而是一条连续证据链:基础资源正常、依赖可访问、数据库可查询、应用已就绪、后台任务能够工作,并且至少一条关键业务链路按预期完成。只有这些检查与恢复记录对应起来,才能说明重建后的系统真正具备业务可用性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

逐层验证服务与业务链路

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通