可观测性与稳定性 / 系统课时

模拟日志采集中断故障

模拟日志采集中断故障

本练习主动停止日志 Agent,制造“应用仍在写日志,但集中平台查不到”的故障,再按 Agent、网络、输出端的顺序定位。最后恢复采集并验证中断期间的探针日志是否补传。

学习目标

  • 区分“应用没有产生日志”和“日志产生了但没有被采集或送达”。
  • 用 Agent 状态、Agent 日志和输出端连通性逐层定位中断位置。
  • 恢复链路后验证探针日志是否重新出现在集中索引中。

先写入一条可识别的探针日志

选择一个已经被 Fluent Bit 监听的日志文件;下面以 /var/log/demo/app.log 为例。如果你的采集路径不同,替换 LOG_FILE。先写入一条基线探针,确认正常链路能够采集它。

bash
LOG_FILE='/var/log/demo/app.log'
PROBE_ID='collect-baseline-001'
NOW="$(date -u +%Y-%m-%dT%H:%M:%SZ)"
sudo mkdir -p "$(dirname "$LOG_FILE")"
printf '{"timestamp":"%s","level":"INFO","probe_id":"%s","message":"baseline probe"}\n' \
  "$NOW" "$PROBE_ID" | sudo tee -a "$LOG_FILE"

预期输出

text
{"timestamp":"<TIME>","level":"INFO","probe_id":"collect-baseline-001","message":"baseline probe"}

<TIME> 是动态时间。只有基线日志能正常进入集中平台,后面的中断实验才有比较意义。

停止 Agent 并制造缺口

下面以 systemd 管理的 Fluent Bit 为例。容器化部署时应停止对应 Agent 容器,而不是直接套用这条命令。

bash
sudo systemctl stop fluent-bit
systemctl is-active fluent-bit || true

预期输出

text
inactive

Agent 停止后,再写入一条新的探针日志。此时应用侧文件会增长,但集中平台暂时不应出现这条记录。

bash
LOG_FILE='/var/log/demo/app.log'
PROBE_ID='collect-stop-001'
NOW="$(date -u +%Y-%m-%dT%H:%M:%SZ)"
printf '{"timestamp":"%s","level":"ERROR","probe_id":"%s","message":"collector stopped probe"}\n' \
  "$NOW" "$PROBE_ID" | sudo tee -a "$LOG_FILE"

预期输出

text
{"timestamp":"<TIME>","level":"ERROR","probe_id":"collect-stop-001","message":"collector stopped probe"}

这时故障边界已经很清楚:日志文件里有数据,而 Agent 没有运行,所以问题不在应用写日志这一层。

按 Agent、网络、输出端逐层定位

恢复前先建立定位顺序。第一层看 Agent 是否活着、有没有读文件;第二层看 Agent 到搜索服务的网络是否可达;第三层看搜索服务是否接受写入以及索引是否正常。

日志采集中断的分层定位链路

先检查 Agent 服务状态:

bash
systemctl is-active fluent-bit || true

预期输出

text
inactive

如果服务仍为 active,再继续检查网络和输出端,不要先改应用代码。需要查看 Agent 自身错误时,可执行 sudo journalctl -u fluent-bit -n 20 --no-pager,重点寻找输出重试、连接失败、认证失败或文件读取错误;不同版本和输出插件的日志措辞会不同。

对自建 Elasticsearch 或 OpenSearch,可直接验证 HTTP 端点是否可达:

bash
curl -sS -o /dev/null -w 'http=%{http_code}\n' http://<HOST>:<PORT>/

预期输出

text
http=200

实验环境若启用了认证,401 或 403 仍说明网络已到达服务端,只是认证失败;Connection refused、超时或 DNS 失败才更像网络、端口或服务状态问题。

恢复 Agent 并验证是否补传

重新启动 Agent 后,先确认服务恢复,再按探针 ID 查询集中索引。对于使用 Tail 输入并正确保存文件偏移的常见配置,Agent 会继续读取停止期间追加到原文件中的内容;如果日志已轮转、被删除,或输入配置没有持久化偏移,行为可能不同。

bash
sudo systemctl start fluent-bit
systemctl is-active fluent-bit

预期输出

text
active

等待数秒让 Agent 完成读取与发送,然后查询刚才的故障探针。把 <HOST>、<PORT> 和 <INDEX> 替换为实际环境。

bash
curl -sS 'http://<HOST>:<PORT>/<INDEX>/_search?filter_path=hits.total' \
  -H 'Content-Type: application/json' \
  -d '{
    "query": {
      "match_phrase": {
        "probe_id": "collect-stop-001"
      }
    }
  }'

预期输出

json
{
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    }
  }
}

如果 Agent 已恢复但仍查不到探针,重点看 journalctl -u fluent-bit 是否出现输出重试、连接失败或认证错误,再确认写入目标索引是否正确。若搜索服务不可用时启用了 filesystem buffering,恢复输出端后通常可以继续发送已落盘 chunk;若只使用内存缓冲且长时间超过缓冲上限,则需要评估是否发生不可恢复的数据丢失。

用现象判断故障落在哪一层

应用文件不增长,优先查应用日志配置;文件增长但 Agent 未运行,问题在采集层;Agent 正常且持续出现连接或重试错误,问题更可能在网络、认证或输出端;搜索服务可达但索引没有新增文档,则继续检查输出插件配置、目标索引、字段解析和服务端拒绝原因。

这个练习的验收标准不是“服务重新启动”本身,而是能用唯一探针证明:故障前数据可见、故障期间出现缺口、恢复后探针按预期补传或明确确认丢失原因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

模拟日志采集中断故障

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通