可观测性与稳定性 / 系统课时

用 Docker Compose 拉起实验集群

用 Docker Compose 拉起实验集群

这一节搭建一套可重复启动的 ELK 实验环境:Elasticsearch 保存和检索日志,Logstash 负责处理输入,Kibana 提供查询界面,Filebeat 采集日志并发送给 Logstash。完成后可以用同一组 Compose 配置反复启动和销毁实验集群。

学习目标

  • 理解 Elasticsearch、Logstash、Kibana 与 Filebeat 在实验链路中的关系
  • 用 Docker Compose 一次启动四个组件
  • 通过容器状态和 HTTP 接口确认基础环境已经运行

先看清日志链路

本实验采用 Filebeat → Logstash → Elasticsearch → Kibana 的最小链路。Filebeat 不负责存储日志,Logstash 也不是数据库;真正持久化并提供搜索能力的是 Elasticsearch,Kibana 则通过 Elasticsearch 查询数据。

四组件实验环境的数据流与依赖关系

准备三个配置文件

在一个空目录中创建 compose.yaml、logstash.conf 和 filebeat.yml。下面固定使用同一版本的 Elastic Stack 镜像,避免组件跨版本带来的兼容性干扰。

compose.yaml:

yaml
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.15.5
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
      - ES_JAVA_OPTS=-Xms512m -Xmx512m
    ports:
      - "9200:9200"
    volumes:
      - es-data:/usr/share/elasticsearch/data

  logstash:
    image: docker.elastic.co/logstash/logstash:8.15.5
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf:ro
    ports:
      - "5044:5044"
    depends_on:
      - elasticsearch

  kibana:
    image: docker.elastic.co/kibana/kibana:8.15.5
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch

  filebeat:
    image: docker.elastic.co/beats/filebeat:8.15.5
    user: root
    command: ["filebeat", "-e", "--strict.perms=false"]
    volumes:
      - ./filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
    depends_on:
      - logstash

volumes:
  es-data:

这里关闭安全认证仅用于本地实验,Elasticsearch 数据写入命名卷 es-data。生产环境不应照搬 xpack.security.enabled=false。

logstash.conf 使用 Beats 输入并把事件写入 Elasticsearch:

text
input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    index => "lab-logs"
  }
}

filebeat.yml 先启用一个标准输入,后续只要向挂载的数据源提供日志即可;当前重点是验证 Filebeat 能连接 Logstash:

yaml
filebeat.inputs:
  - type: filestream
    id: lab-input
    paths:
      - /tmp/lab/*.log

output.logstash:
  hosts: ["logstash:5044"]

配置生效后,Compose 创建默认网络,服务可以直接使用 elasticsearch、logstash 等服务名互相访问,而不需要写容器 IP。

启动并检查容器

在三个文件所在目录执行:

bash
docker compose up -d
docker compose ps

预期输出中的容器名称和运行时间可能不同,但四个服务都应处于运行状态:

text
NAME                  SERVICE         STATUS
<NAME>                elasticsearch   Up <TIME>
<NAME>                logstash        Up <TIME>
<NAME>                kibana          Up <TIME>
<NAME>                filebeat        Up <TIME>

depends_on 只控制启动顺序,并不保证 Elasticsearch 已经完成初始化。因此刚执行 up 后,Logstash 或 Kibana 可能还需要等待一段时间才能真正建立连接。

验证 Elasticsearch 与 Kibana

先请求 Elasticsearch 根接口:

bash
curl http://localhost:9200/

预期结果是 HTTP 成功响应,其中包含集群和版本等信息;具体名称、构建信息会随环境变化:

text
{
  "name" : "<NAME>",
  "cluster_name" : "docker-cluster",
  "version" : { ... },
  "tagline" : "You Know, for Search"
}

再访问 http://localhost:5601。如果 Kibana 尚未就绪,可查看对应日志:

bash
docker compose logs --tail=50 kibana

预期输出会随启动阶段变化;正常情况下容器持续运行,并最终出现表示 Kibana 服务已经可用的日志,而不是持续重复连接 Elasticsearch 失败的信息。

完成实验后可执行 docker compose down 删除容器和网络;命名卷默认保留。如果还要删除实验数据,再使用 docker compose down -v。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Docker Compose 拉起实验集群

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通