可观测性与稳定性 / 系统课时

怎样把日志写入搜索引擎

怎样把日志写入搜索引擎

这一节把 Fluent Bit 的输出端接到 OpenSearch,并用索引计数和样本文档确认日志真的已经落库;同时说明切换到 Elasticsearch 时需要改什么,避免只看到 Agent 正常运行却没有可检索数据。

学习目标

  • 配置 Fluent Bit 的 OpenSearch 输出并明确标签匹配、目标地址和索引名
  • 用搜索引擎 API 验证索引已经产生文档,而不是只检查 Fluent Bit 进程
  • 识别认证、类型字段和路由不匹配导致的常见写入失败

先确认写入目标

下面使用本机、无认证的 OpenSearch 开发环境作为最小示例,地址为 127.0.0.1:9200。生产环境如果启用了 TLS、Basic Auth、反向代理路径或云厂商签名认证,需要在输出插件中补上对应参数,不能直接照搬本机地址。

Fluent Bit 的 OpenSearch 输出插件使用 Name opensearch,通过 Host、Port 和 Index 指定目标。OpenSearch 2.0 及以上不再支持 mapping type,因此应设置 Suppress_Type_Name On。([Fluent Bit Documentation][1])

如果目标是 Elasticsearch,核心思路不变:把输出插件改为 Name es。Elasticsearch 8 及以上同样不再支持 mapping type,通常也应启用 Suppress_Type_Name On。([Fluent Bit Documentation][2])

配置一个最小写入链路

为了只验证“Fluent Bit 能否写入搜索引擎”,这里用 dummy 输入持续生成一条结构化记录,避免把文件路径、解析器或容器日志问题混进测试。把以下内容保存为 <PATH>/fluent-bit.conf。

ini
[SERVICE]
    Flush       1
    Log_Level   info

[INPUT]
    Name        dummy
    Tag         app.demo
    Dummy       {"service":"checkout","level":"INFO","message":"payment accepted"}

[OUTPUT]
    Name                opensearch
    Match               app.*
    Host                127.0.0.1
    Port                9200
    Index               fluentbit-demo
    Suppress_Type_Name  On
    Retry_Limit         3

Match app.* 必须能匹配输入记录的 Tag app.demo,否则记录不会进入这个输出。Index fluentbit-demo 决定后续验证时查询哪个索引;Retry_Limit 3 只是实验值,用来避免目标不可用时无限重试。

在一个终端启动 Fluent Bit,把 <PATH> 替换成实际目录。

bash
fluent-bit -c <PATH>/fluent-bit.conf

预期结果

text
Fluent Bit 进程持续运行并周期性刷新数据;若 OpenSearch 可达且接受请求,不会持续出现写入失败或重试错误。实际启动日志、时间戳和线程信息会因版本与环境不同。

验证索引里确实有文档

不要把“进程没报错”当成写入成功。保持 Fluent Bit 运行,在另一个终端查询索引计数。

bash
curl -s http://127.0.0.1:9200/fluentbit-demo/_count

预期输出

text
{"count":<COUNT>,"_shards":{...}}

这里 <COUNT> 应大于等于 1,并且会随着 dummy 输入继续产生记录而增长;分片字段的具体数值取决于集群配置。再查询一条样本文档,确认字段内容也正确。

bash
curl -s "http://127.0.0.1:9200/fluentbit-demo/_search?size=1"

预期输出

text
响应的 hits.hits 至少包含一条文档,其 _source 中可以看到 service=checkout、level=INFO、message=payment accepted;文档 ID、时间字段和分片相关信息可能不同。

写不进去时按链路定位

先从搜索引擎 API 本身开始。如果直接访问目标地址就出现连接失败,优先检查主机名、端口、防火墙和 TLS;出现 401 或 403 时检查认证与权限;出现与 type 相关的 400 错误时确认现代 OpenSearch 或 Elasticsearch 已启用 Suppress_Type_Name On。

如果搜索引擎可访问,再检查 Fluent Bit 的 Tag 与 Match。目标索引完全不存在时,常见原因不是“索引刷新慢”,而是记录根本没有路由到这个输出。最后再看 Fluent Bit 日志中的输出插件错误,必要时临时开启插件的错误追踪选项做诊断,但不要长期在生产环境打印完整请求负载。

真正的验收条件是:搜索引擎端能查询到预期索引,文档数量增长,并且样本文档包含处理后的关键字段。做到这三点,才说明采集、路由和写入链路已经闭合。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样把日志写入搜索引擎

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通