可观测性与稳定性 / 系统课时
怎样把日志写入搜索引擎
怎样把日志写入搜索引擎
这一节把 Fluent Bit 的输出端接到 OpenSearch,并用索引计数和样本文档确认日志真的已经落库;同时说明切换到 Elasticsearch 时需要改什么,避免只看到 Agent 正常运行却没有可检索数据。
学习目标
- 配置 Fluent Bit 的 OpenSearch 输出并明确标签匹配、目标地址和索引名
- 用搜索引擎 API 验证索引已经产生文档,而不是只检查 Fluent Bit 进程
- 识别认证、类型字段和路由不匹配导致的常见写入失败
先确认写入目标
下面使用本机、无认证的 OpenSearch 开发环境作为最小示例,地址为 127.0.0.1:9200。生产环境如果启用了 TLS、Basic Auth、反向代理路径或云厂商签名认证,需要在输出插件中补上对应参数,不能直接照搬本机地址。
Fluent Bit 的 OpenSearch 输出插件使用 Name opensearch,通过 Host、Port 和 Index 指定目标。OpenSearch 2.0 及以上不再支持 mapping type,因此应设置 Suppress_Type_Name On。([Fluent Bit Documentation][1])
如果目标是 Elasticsearch,核心思路不变:把输出插件改为 Name es。Elasticsearch 8 及以上同样不再支持 mapping type,通常也应启用 Suppress_Type_Name On。([Fluent Bit Documentation][2])
配置一个最小写入链路
为了只验证“Fluent Bit 能否写入搜索引擎”,这里用 dummy 输入持续生成一条结构化记录,避免把文件路径、解析器或容器日志问题混进测试。把以下内容保存为 <PATH>/fluent-bit.conf。
[SERVICE]
Flush 1
Log_Level info
[INPUT]
Name dummy
Tag app.demo
Dummy {"service":"checkout","level":"INFO","message":"payment accepted"}
[OUTPUT]
Name opensearch
Match app.*
Host 127.0.0.1
Port 9200
Index fluentbit-demo
Suppress_Type_Name On
Retry_Limit 3Match app.* 必须能匹配输入记录的 Tag app.demo,否则记录不会进入这个输出。Index fluentbit-demo 决定后续验证时查询哪个索引;Retry_Limit 3 只是实验值,用来避免目标不可用时无限重试。
在一个终端启动 Fluent Bit,把 <PATH> 替换成实际目录。
fluent-bit -c <PATH>/fluent-bit.conf预期结果
Fluent Bit 进程持续运行并周期性刷新数据;若 OpenSearch 可达且接受请求,不会持续出现写入失败或重试错误。实际启动日志、时间戳和线程信息会因版本与环境不同。验证索引里确实有文档
不要把“进程没报错”当成写入成功。保持 Fluent Bit 运行,在另一个终端查询索引计数。
curl -s http://127.0.0.1:9200/fluentbit-demo/_count预期输出
{"count":<COUNT>,"_shards":{...}}这里 <COUNT> 应大于等于 1,并且会随着 dummy 输入继续产生记录而增长;分片字段的具体数值取决于集群配置。再查询一条样本文档,确认字段内容也正确。
curl -s "http://127.0.0.1:9200/fluentbit-demo/_search?size=1"预期输出
响应的 hits.hits 至少包含一条文档,其 _source 中可以看到 service=checkout、level=INFO、message=payment accepted;文档 ID、时间字段和分片相关信息可能不同。写不进去时按链路定位
先从搜索引擎 API 本身开始。如果直接访问目标地址就出现连接失败,优先检查主机名、端口、防火墙和 TLS;出现 401 或 403 时检查认证与权限;出现与 type 相关的 400 错误时确认现代 OpenSearch 或 Elasticsearch 已启用 Suppress_Type_Name On。
如果搜索引擎可访问,再检查 Fluent Bit 的 Tag 与 Match。目标索引完全不存在时,常见原因不是“索引刷新慢”,而是记录根本没有路由到这个输出。最后再看 Fluent Bit 日志中的输出插件错误,必要时临时开启插件的错误追踪选项做诊断,但不要长期在生产环境打印完整请求负载。
真正的验收条件是:搜索引擎端能查询到预期索引,文档数量增长,并且样本文档包含处理后的关键字段。做到这三点,才说明采集、路由和写入链路已经闭合。