NoSQL 与搜索 / 系统课时

搜索索引同步模式

搜索索引同步模式

业务数据通常先写入数据库,再进入 Elasticsearch。同步方案决定了索引的新鲜度、可靠性与维护成本。本课将比较全量导入、定时增量、应用双写和变更数据捕获,并给出可落地的选型与验收方法。

学习目标

  • 说明四种索引同步模式的工作方式与主要风险
  • 根据实时性、数据规模和团队能力选择合适方案
  • 使用复合游标避免增量同步中的遗漏与重复

同步策略解决什么问题

Elasticsearch 通常不是业务事实的唯一来源,数据库中的新增、修改和删除必须持续映射到搜索索引。同步设计需要同时回答三个问题:数据多久可见、失败后如何补偿、历史数据如何重建。

只追求“能写进去”是不够的。生产方案还要处理乱序更新、重复投递、删除事件、字段变更和索引重建,否则搜索结果会逐渐偏离业务数据。

四种模式如何工作

四种搜索索引同步模式对比

全量导入

全量导入会扫描全部源数据并重新写入索引。它实现简单,适合首次建索引、数据量较小或离线更新场景,但执行时间长,频繁运行会给数据库和集群带来明显压力。

生产环境常配合“新索引加别名切换”:先写入新索引,校验完成后原子切换别名,再删除旧索引。这样可以避免重建期间用户读到半成品数据。

定时增量

定时增量按更新时间、递增主键或业务游标拉取变化数据。它比全量导入轻量,适合允许分钟级延迟的系统,但必须正确处理同一时间戳内的多条记录、任务重跑和物理删除。

单独使用 updated_at > last_time 容易漏掉边界数据。更稳妥的做法是使用“更新时间加主键”的复合游标,并让写入 Elasticsearch 的操作保持幂等。

应用双写

应用双写在业务请求中同时更新数据库和 Elasticsearch,数据延迟低,逻辑也直观。问题是两个系统无法天然处于同一个本地事务中,一端成功、另一端失败时会产生不一致。

可靠实现通常不是简单地连续调用两次,而是数据库事务内写业务表和本地事件表,提交后由异步任务投递并重试。搜索索引仍可按文档 ID 覆盖写入,以承受重复消息。

变更数据捕获

变更数据捕获(CDC)读取数据库事务日志,将插入、更新和删除转换为事件,再由消费者同步到 Elasticsearch。它与业务代码解耦,实时性高,也便于多个下游复用同一份变更流。

CDC 的成本主要在基础设施和事件治理:必须管理日志保留、消费位点、表结构变更、乱序事件和失败重放。团队缺少消息系统运维能力时,不宜仅为了“更实时”而贸然引入。

如何选择同步模式

判断维度 全量导入 定时增量 应用双写 CDC
常见延迟 小时级或按需 秒级到分钟级 毫秒级到秒级 秒级以内
业务耦合 低 低 高 低
实现成本 低 中 中 高
删除同步 需额外比对 需软删除标记 业务代码处理 可读取删除事件
适合场景 初始化、重建 中小系统、报表搜索 强实时且业务可控 大规模实时同步

实际项目常采用组合方案:CDC 或增量任务负责日常同步,全量导入负责首次初始化和灾难重建。无论主方案是什么,都应保留可重复执行的全量重建能力。

用复合游标实现安全增量

下面的 MySQL 脚本使用固定数据演示复合游标。查询条件先比较 updated_at,时间相同时再比较 id,从而避免同一时间戳内的数据被跳过。

sql
CREATE TEMPORARY TABLE sync_demo_orders (
    id BIGINT PRIMARY KEY,
    status VARCHAR(20) NOT NULL,
    updated_at DATETIME(6) NOT NULL
);

INSERT INTO sync_demo_orders (id, status, updated_at) VALUES
(1001, 'PAID', '2026-08-03 09:00:00.000000'),
(1002, 'REFUNDED', '2026-08-03 09:00:00.000000'),
(1003, 'PAID', '2026-08-03 09:00:01.000000');

SET @last_sync_time = '2026-08-03 09:00:00.000000';
SET @last_id = 1001;

SELECT id, status, updated_at
FROM sync_demo_orders
WHERE updated_at > @last_sync_time
   OR (updated_at = @last_sync_time AND id > @last_id)
ORDER BY updated_at, id
LIMIT 100;

预期结果

text
+------+----------+----------------------------+
| id   | status   | updated_at                 |
+------+----------+----------------------------+
| 1002 | REFUNDED | 2026-08-03 09:00:00.000000 |
| 1003 | PAID     | 2026-08-03 09:00:01.000000 |
+------+----------+----------------------------+

批次成功写入 Elasticsearch 后,再把最后一行的 updated_at 和 id 保存为新游标。若批次失败,不推进游标,重跑时依靠固定文档 ID 覆盖旧值。

验收同步结果

同步任务至少要记录批次范围、读取条数、成功条数、失败条数、当前游标和处理耗时。监控不能只看任务是否启动,还要关注数据库与索引的数量差异、关键字段差异和同步延迟。

删除数据应有明确策略:使用软删除字段时,同步任务把文档删除或标记为不可搜索;使用 CDC 时消费删除事件。定期抽样比对源数据与索引,可以尽早发现长期漂移。

本课总结

  • 全量、增量、双写和 CDC 分别在实时性、耦合度与运维成本之间做取舍
  • 日常同步方案之外,仍应保留可验证、可切换的全量重建能力
  • 增量任务应使用复合游标、幂等写入和失败重试保证边界安全

下一课预告

下一课将进入 Elasticsearch 写入端,创建 Ingest Pipeline,并在文档入库前完成字段清洗、类型转换和默认值补充。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搜索索引同步模式

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通