可观测性与稳定性 / 系统课时
配置完整采集解析写入链路
配置完整采集解析写入链路
本课把 Filebeat、Logstash 和 Elasticsearch 串成一条可验证的生产采集链路:Filebeat 负责可靠读取,Logstash 负责解析与路由,Elasticsearch 负责索引写入,最终能用一条测试日志确认数据完整到达。
学习目标
- 配置 Filebeat、Logstash 与 Elasticsearch 的最小生产化连接关系
- 用 Grok 和字段类型约束把原始日志转换成可检索事件
- 按“产生→采集→解析→写入→查询”的顺序验证链路并定位失败环节
先确定每一层负责什么
完整链路中不要让同一个组件承担所有工作。Filebeat 关注文件发现、偏移量和发送;Logstash 关注解析、清洗和路由;Elasticsearch 关注映射、索引和检索。这样出现问题时,可以根据事件停在哪一层快速缩小范围。
测试环境中可以让三者位于同一 Docker Compose 网络,也可以跨主机通信。无论采用哪种部署方式,都应先确认 Filebeat 能连到 Logstash、Logstash 能连到 Elasticsearch,再验证业务日志内容。
配置 Filebeat 采集并发送
下面示例假设应用写入 /var/log/app/app.log,Logstash 在 <LOGSTASH_HOST>:5044 监听 Beats 输入。Filebeat 使用 add_fields 补充环境字段,便于后续在 Kibana 中筛选。
filebeat.inputs:
- type: filestream
id: app-log
enabled: true
paths:
- /var/log/app/app.log
processors:
- add_fields:
target: labels
fields:
environment: production
output.logstash:
hosts: ["<LOGSTASH_HOST>:5044"]这份配置依赖 Filebeat 进程对日志文件具有读取权限,并要求 Logstash 对应端口可达。配置保存后,实际生产环境应使用版本匹配的 Filebeat 配置校验命令,再启动或重载服务。
预期结果
Config OK随后 Filebeat 应能持续发现目标文件,并将事件发送到 Logstash。<LOGSTASH_HOST> 和端口是环境变量式占位符,实际值可能不同。
配置 Logstash 解析和写入
Logstash 入口使用 Beats,过滤阶段把一行应用日志拆成时间、级别、订单号和消息,输出则写入 Elasticsearch。下面是一个独立的 Pipeline 配置示例,适合作为最小验证版本。
input {
beats {
port => 5044
}
}
filter {
grok {
match => {
"message" => "%{TIMESTAMP_ISO8601:log_time} %{LOGLEVEL:log_level} order_id=%{DATA:order_id} %{GREEDYDATA:message_text}"
}
}
date {
match => ["log_time", "ISO8601"]
target => "@timestamp"
}
}
output {
elasticsearch {
hosts => ["https://<ELASTICSEARCH_HOST>:9200"]
index => "app-logs-%{+YYYY.MM.dd}"
user => "<ES_USER>"
password => "<ES_PASSWORD>"
}
}这段配置的关键不是 Grok 写得多复杂,而是先建立稳定的字段边界:原始 message 保留来源,解析后的字段分别进入独立字段,@timestamp 使用统一时间字段,索引名称再按日期路由。生产环境还应根据 Elasticsearch TLS 配置补充证书校验参数,不能直接关闭验证来掩盖信任问题。
预期结果
Pipeline started当一条匹配格式的日志进入后,Elasticsearch 中应出现对应文档;若 Grok 未匹配,先检查原始日志是否真的符合模式,而不是立即修改 Elasticsearch 映射。
按链路顺序验证
不要只看 Kibana 页面“没有数据”。验证时从上游往下游逐层确认:先确认应用持续写文件,再确认 Filebeat 有发送记录,再确认 Logstash 收到并解析,最后确认 Elasticsearch 索引中产生文档。
可以先用一条可控测试日志验证格式。例如:
2026-09-20T10:15:30+08:00 INFO order_id=ORD-1024 create order success预期结果
@timestamp = 2026-09-20T02:15:30.000Z
log_level = INFO
order_id = ORD-1024
message_text = create order success如果 Elasticsearch 没有文档,优先区分“没有收到事件”和“收到但写入失败”:前者检查 Filebeat 与 Logstash 输入,后者检查 Elasticsearch 地址、认证、TLS、索引模板和映射错误。这样排查路径始终围绕事件流本身,而不是围绕某一个界面。
什么时候拆分职责
当日志量继续增长或解析规则明显变复杂时,可以按业务类型拆分 Pipeline,但不要为了“生产化”提前堆很多 Filter。最小链路先做到事件可追踪、字段可检索、写入可验证,再增加清洗、脱敏、路由和异常分流,故障定位会更清晰。