NoSQL 与搜索 / 系统课时

全量重建与增量追平

全量重建与增量追平

当映射、分词器或索引结构发生变化时,直接在原索引上修改往往不可行。本课将建立一套不中断写入、能够追平重建期间变化,并可通过别名快速切换和回滚的完整流程。

学习目标

  • 设计“全量快照加增量追平”的重建链路
  • 使用版本化索引和别名完成原子切换
  • 通过多层校验和保留旧索引降低发布风险

重建为什么必须同时处理增量

全量导入从开始到结束可能持续数分钟甚至数小时。若只扫描一次源库,重建期间新增、修改和删除的数据不会自然出现在新索引中,切换后就会立刻出现旧数据或缺失数据。

正确做法是在全量开始前记录一个增量起点,例如 binlog 位点、消息 offset 或事件表序号。全量扫描与线上写入继续并行,待全量完成后,再从该起点重放变更,直到新索引与实时链路的差距收敛到可接受范围。

全量重建、增量追平与别名切换时序

建立版本化索引

索引名称应包含版本或时间批次,例如 product_v20260803_01,业务查询只访问稳定别名 product_read。新索引创建后先写入映射、分析器、副本数和刷新策略,再开始导入。

全量阶段可临时降低 refresh_interval 或将副本数设为 0,以减少刷新和复制开销;导入结束后必须恢复生产配置,并等待集群健康状态达到预期。映射、分词器和关键设置应保存在版本库中,不能依赖人工在控制台临时修改。

执行全量与增量追平

完整流程可以压缩为六步:

  1. 记录增量起点 O0,并确认增量日志能够保留到重建结束。
  2. 创建新索引,按主键范围、时间范围或哈希分片并行扫描源数据。
  3. 使用稳定 _id 批量写入新索引,失败批次可重试。
  4. 全量结束后,从 O0 开始重放新增、更新和删除事件。
  5. 当增量延迟降到 0 或业务允许的阈值时,暂停极短时间或启用双写完成最后追平。
  6. 通过校验后原子切换别名,并继续保留旧索引用于回滚。

全量扫描必须使用稳定分页方式。数据库可按主键游标推进,Elasticsearch 源索引迁移可使用 search_after 或 _reindex;不要对大数据集使用深分页 from + size。

原子切换读别名

Elasticsearch 的 _aliases API 可以在一个请求中同时移除旧索引并添加新索引,避免出现别名短暂为空或同时指向错误索引的中间状态。

下面是片段示例,执行前需确保 product_v1、product_v2 已存在,且 product_read 当前指向 product_v1。

bash
ES_URL="${ES_URL:-http://localhost:9200}"

# 单个请求内同时移除旧索引并添加新索引
curl -sS -X POST "$ES_URL/_aliases" \
  -H "Content-Type: application/json" \
  -d '{
    "actions": [
      {"remove": {"index": "product_v1", "alias": "product_read"}},
      {"add": {"index": "product_v2", "alias": "product_read"}}
    ]
  }'

预期输出

json
{"acknowledged":true}

切换后可通过 GET /_alias/product_read 验证实际指向。写入链路若也使用别名,应单独维护写别名,并明确 is_write_index,避免多个索引同时可写。

切换前做分层校验

只比较文档总数不够,因为相同数量仍可能包含不同数据。建议至少完成以下校验:

  • 总量校验:比较源数据有效记录数与新索引文档数,解释允许的差值。
  • 分桶校验:按日期、状态或业务分区比较计数,快速定位缺失范围。
  • 抽样校验:随机抽取主键,对比关键字段、分词结果和可搜索性。
  • 删除校验:确认重建期间发生的删除事件已在新索引生效。
  • 查询校验:用线上高频查询回放,比较命中数、排序和响应时间。

若数据量较大,可对关键字段做分片哈希或校验和,而不是逐条拉回比较。校验结果必须保存本次重建批次、索引版本、offset、差异数量和负责人,便于审计与复盘。

回滚与清理

别名切换后不要立即删除旧索引。先观察错误率、查询延迟、命中结果和增量同步状态;出现严重异常时,用同样的 _aliases 原子操作把别名切回旧索引。

回滚能否成功取决于旧索引是否仍在接收切换后的增量。常见做法是短期双写两个索引,或保留完整增量日志,使旧索引能够补齐切换后的变化。仅保留旧索引文件但不保留后续变更,回滚后仍会数据落后。

确认新索引稳定且超过回滚窗口后,再删除旧索引和临时任务状态。清理前应核对快照、审计记录和增量日志保留策略,避免误删唯一可恢复数据。

本课总结

  • 全量重建必须从明确的增量起点开始,并在切换前追平新增、更新和删除
  • 版本化索引配合 _aliases 原子操作,可以把切换窗口压缩到一次请求
  • 多层校验、旧索引增量保持和延迟清理,共同构成可执行的回滚能力

下一课预告

下一课将围绕同步任务的可观测性,设计延迟、吞吐、失败批次、死信和数据差异指标,让数据链路能够被持续监控和快速定位。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

全量重建与增量追平

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通