NoSQL 与搜索 / 系统课时

Logstash 导入关系数据

Logstash 导入关系数据

本课完成一条可运行的关系数据导入链路:Logstash 通过 JDBC 定时读取 MySQL 商品表,转换字段类型后按主键写入 Elasticsearch。完成后,你可以验证配置、启动任务,并确认检查点能够支持后续增量同步。

学习目标

  • 配置 Logstash JDBC 输入和增量检查点
  • 使用过滤器统一字段类型与格式
  • 通过固定文档 ID 写入并验证 Elasticsearch 数据

准备数据源与导入链路

开始前需要可访问的 MySQL、Elasticsearch 和 Logstash,并把 MySQL Connector/J 驱动放到 /usr/share/logstash/config/mysql-connector-j.jar。JDBC 账号至少需要源表的 SELECT 权限,Elasticsearch 账号需要目标索引的创建和写入权限。

目标索引应提前声明关键字段类型,避免第一批数据触发错误的动态映射。下面在 Kibana Dev Tools 中创建商品索引。

http
PUT products
{
  "mappings": {
    "properties": {
      "id": {
        "type": "long"
      },
      "name": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      },
      "category": {
        "type": "keyword"
      },
      "price": {
        "type": "double"
      },
      "updated_at": {
        "type": "date"
      }
    }
  }
}

预期输出

json
{
  "acknowledged": true,
  "shards_acknowledged": true,
  "index": "products"
}

JDBC 输入负责执行 SQL,Filter 负责字段转换,Elasticsearch 输出负责写入索引。last_run_metadata_path 保存上次成功读取的水位值;下次任务把它作为 :sql_last_value 传入 SQL,从而只读取更新的数据。

Logstash JDBC 增量导入数据流

编写 Logstash 配置

保存以下配置为 /usr/share/logstash/pipeline/products.conf。环境变量用于注入连接地址和密码,避免把凭据直接写入文件。

conf
input {
  jdbc {
    jdbc_driver_library => "/usr/share/logstash/config/mysql-connector-j.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://${MYSQL_HOST}:3306/${MYSQL_DATABASE}?useSSL=false&serverTimezone=UTC"
    jdbc_user => "${MYSQL_USER}"
    jdbc_password => "${MYSQL_PASSWORD}"

    schedule => "* * * * *"
    statement => "SELECT id, name, category, price, updated_at FROM products WHERE updated_at > :sql_last_value ORDER BY updated_at ASC, id ASC"

    use_column_value => true
    tracking_column => "updated_at"
    tracking_column_type => "timestamp"
    last_run_metadata_path => "/usr/share/logstash/data/products-last-run.yml"

    jdbc_paging_enabled => true
    jdbc_page_size => 1000
  }
}

filter {
  mutate {
    convert => {
      "id" => "integer"
      "price" => "float"
    }
    lowercase => ["category"]
    remove_field => ["@version"]
  }

  date {
    match => ["updated_at", "ISO8601"]
    target => "updated_at"
  }
}

output {
  elasticsearch {
    hosts => ["${ES_HOSTS}"]
    index => "products"
    document_id => "%{id}"
    user => "${ES_USER}"
    password => "${ES_PASSWORD}"
    ssl_certificate_authorities => ["/usr/share/logstash/config/certs/http_ca.crt"]
  }

  stdout {
    codec => rubydebug
  }
}

这份配置每分钟执行一次查询。document_id => "%{id}" 让同一数据库主键覆盖同一 Elasticsearch 文档,而不是重复新增。若开发环境使用 HTTP 且未启用安全功能,应相应删除账号、密码和 CA 配置。

验证、启动与检查增量

先设置实际环境变量,再执行语法检查。<MYSQL_PASSWORD>、<ES_PASSWORD> 等占位符必须替换为真实值。

bash
export MYSQL_HOST="<MYSQL_HOST>"
export MYSQL_DATABASE="shop"
export MYSQL_USER="logstash_reader"
export MYSQL_PASSWORD="<MYSQL_PASSWORD>"
export ES_HOSTS="https://localhost:9200"
export ES_USER="logstash_writer"
export ES_PASSWORD="<ES_PASSWORD>"

/usr/share/logstash/bin/logstash \
  --config.test_and_exit \
  -f /usr/share/logstash/pipeline/products.conf

预期输出

text
<TIME> Configuration OK

配置通过后启动管道。首次执行会读取符合水位条件的数据,并在终端打印转换后的事件。

bash
/usr/share/logstash/bin/logstash \
  -f /usr/share/logstash/pipeline/products.conf

预期结果

text
<TIME> Pipeline started
{
            "id" => 101,
          "name" => "Wireless Mouse",
      "category" => "accessories",
         "price" => 19.9,
    "updated_at" => <TIME>
}

实际记录数量、字段值和时间会随数据库内容变化。若终端没有事件,优先检查 SQL 是否返回数据、检查点文件中的水位是否过新,以及 JDBC 账号是否具有读取权限。

导入后查询目标索引,确认主键、类型和字段格式正确。

http
GET products/_search
{
  "size": 1,
  "sort": [
    {
      "updated_at": "desc"
    }
  ],
  "_source": [
    "id",
    "name",
    "category",
    "price",
    "updated_at"
  ]
}

预期结果

text
HTTP 200
hits.hits 中返回最近更新的一条商品文档;id 为数值,category 为小写关键字,price 为浮点数,updated_at 为日期。

updated_at > :sql_last_value 要求时间字段可靠递增。若多条记录可能共享同一时间戳,生产环境应使用单调递增的版本号作为水位,或设计能够同时比较时间和主键的同步方案。源表删除也不会自动删除 Elasticsearch 文档,需要软删除字段或独立的删除同步流程。

本课总结

  • JDBC 输入通过 :sql_last_value 和检查点文件实现增量读取
  • Filter 统一字段类型,固定 document_id 避免重复文档
  • 正式运行前应先验证映射、配置语法、首批数据和增量边界

下一课预告

下一课将继续完善同步链路,处理断点续传、重复写入、删除传播和失败重试等生产环境问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Logstash 导入关系数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通