可观测性与稳定性 / 系统课时

配置完整采集解析写入链路

配置完整采集解析写入链路

本课把 Filebeat、Logstash 和 Elasticsearch 串成一条可验证的生产采集链路:Filebeat 负责可靠读取,Logstash 负责解析与路由,Elasticsearch 负责索引写入,最终能用一条测试日志确认数据完整到达。

学习目标

  • 配置 Filebeat、Logstash 与 Elasticsearch 的最小生产化连接关系
  • 用 Grok 和字段类型约束把原始日志转换成可检索事件
  • 按“产生→采集→解析→写入→查询”的顺序验证链路并定位失败环节

先确定每一层负责什么

完整链路中不要让同一个组件承担所有工作。Filebeat 关注文件发现、偏移量和发送;Logstash 关注解析、清洗和路由;Elasticsearch 关注映射、索引和检索。这样出现问题时,可以根据事件停在哪一层快速缩小范围。

测试环境中可以让三者位于同一 Docker Compose 网络,也可以跨主机通信。无论采用哪种部署方式,都应先确认 Filebeat 能连到 Logstash、Logstash 能连到 Elasticsearch,再验证业务日志内容。

配置 Filebeat 采集并发送

下面示例假设应用写入 /var/log/app/app.log,Logstash 在 <LOGSTASH_HOST>:5044 监听 Beats 输入。Filebeat 使用 add_fields 补充环境字段,便于后续在 Kibana 中筛选。

yaml
filebeat.inputs:
  - type: filestream
    id: app-log
    enabled: true
    paths:
      - /var/log/app/app.log

processors:
  - add_fields:
      target: labels
      fields:
        environment: production

output.logstash:
  hosts: ["<LOGSTASH_HOST>:5044"]

这份配置依赖 Filebeat 进程对日志文件具有读取权限,并要求 Logstash 对应端口可达。配置保存后,实际生产环境应使用版本匹配的 Filebeat 配置校验命令,再启动或重载服务。

预期结果

text
Config OK

随后 Filebeat 应能持续发现目标文件,并将事件发送到 Logstash。<LOGSTASH_HOST> 和端口是环境变量式占位符,实际值可能不同。

配置 Logstash 解析和写入

Logstash 入口使用 Beats,过滤阶段把一行应用日志拆成时间、级别、订单号和消息,输出则写入 Elasticsearch。下面是一个独立的 Pipeline 配置示例,适合作为最小验证版本。

ruby
input {
  beats {
    port => 5044
  }
}

filter {
  grok {
    match => {
      "message" => "%{TIMESTAMP_ISO8601:log_time} %{LOGLEVEL:log_level} order_id=%{DATA:order_id} %{GREEDYDATA:message_text}"
    }
  }
  date {
    match => ["log_time", "ISO8601"]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["https://<ELASTICSEARCH_HOST>:9200"]
    index => "app-logs-%{+YYYY.MM.dd}"
    user => "<ES_USER>"
    password => "<ES_PASSWORD>"
  }
}

这段配置的关键不是 Grok 写得多复杂,而是先建立稳定的字段边界:原始 message 保留来源,解析后的字段分别进入独立字段,@timestamp 使用统一时间字段,索引名称再按日期路由。生产环境还应根据 Elasticsearch TLS 配置补充证书校验参数,不能直接关闭验证来掩盖信任问题。

预期结果

text
Pipeline started

当一条匹配格式的日志进入后,Elasticsearch 中应出现对应文档;若 Grok 未匹配,先检查原始日志是否真的符合模式,而不是立即修改 Elasticsearch 映射。

按链路顺序验证

不要只看 Kibana 页面“没有数据”。验证时从上游往下游逐层确认:先确认应用持续写文件,再确认 Filebeat 有发送记录,再确认 Logstash 收到并解析,最后确认 Elasticsearch 索引中产生文档。

可以先用一条可控测试日志验证格式。例如:

text
2026-09-20T10:15:30+08:00 INFO order_id=ORD-1024 create order success

预期结果

text
@timestamp = 2026-09-20T02:15:30.000Z
log_level = INFO
order_id = ORD-1024
message_text = create order success

如果 Elasticsearch 没有文档,优先区分“没有收到事件”和“收到但写入失败”:前者检查 Filebeat 与 Logstash 输入,后者检查 Elasticsearch 地址、认证、TLS、索引模板和映射错误。这样排查路径始终围绕事件流本身,而不是围绕某一个界面。

什么时候拆分职责

当日志量继续增长或解析规则明显变复杂时,可以按业务类型拆分 Pipeline,但不要为了“生产化”提前堆很多 Filter。最小链路先做到事件可追踪、字段可检索、写入可验证,再增加清洗、脱敏、路由和异常分流,故障定位会更清晰。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置完整采集解析写入链路

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通