NoSQL 与搜索 / 系统课时
全量重建与增量追平
全量重建与增量追平
当映射、分词器或索引结构发生变化时,直接在原索引上修改往往不可行。本课将建立一套不中断写入、能够追平重建期间变化,并可通过别名快速切换和回滚的完整流程。
学习目标
- 设计“全量快照加增量追平”的重建链路
- 使用版本化索引和别名完成原子切换
- 通过多层校验和保留旧索引降低发布风险
重建为什么必须同时处理增量
全量导入从开始到结束可能持续数分钟甚至数小时。若只扫描一次源库,重建期间新增、修改和删除的数据不会自然出现在新索引中,切换后就会立刻出现旧数据或缺失数据。
正确做法是在全量开始前记录一个增量起点,例如 binlog 位点、消息 offset 或事件表序号。全量扫描与线上写入继续并行,待全量完成后,再从该起点重放变更,直到新索引与实时链路的差距收敛到可接受范围。

建立版本化索引
索引名称应包含版本或时间批次,例如 product_v20260803_01,业务查询只访问稳定别名 product_read。新索引创建后先写入映射、分析器、副本数和刷新策略,再开始导入。
全量阶段可临时降低 refresh_interval 或将副本数设为 0,以减少刷新和复制开销;导入结束后必须恢复生产配置,并等待集群健康状态达到预期。映射、分词器和关键设置应保存在版本库中,不能依赖人工在控制台临时修改。
执行全量与增量追平
完整流程可以压缩为六步:
- 记录增量起点
O0,并确认增量日志能够保留到重建结束。 - 创建新索引,按主键范围、时间范围或哈希分片并行扫描源数据。
- 使用稳定
_id批量写入新索引,失败批次可重试。 - 全量结束后,从
O0开始重放新增、更新和删除事件。 - 当增量延迟降到 0 或业务允许的阈值时,暂停极短时间或启用双写完成最后追平。
- 通过校验后原子切换别名,并继续保留旧索引用于回滚。
全量扫描必须使用稳定分页方式。数据库可按主键游标推进,Elasticsearch 源索引迁移可使用 search_after 或 _reindex;不要对大数据集使用深分页 from + size。
原子切换读别名
Elasticsearch 的 _aliases API 可以在一个请求中同时移除旧索引并添加新索引,避免出现别名短暂为空或同时指向错误索引的中间状态。
下面是片段示例,执行前需确保 product_v1、product_v2 已存在,且 product_read 当前指向 product_v1。
ES_URL="${ES_URL:-http://localhost:9200}"
# 单个请求内同时移除旧索引并添加新索引
curl -sS -X POST "$ES_URL/_aliases" \
-H "Content-Type: application/json" \
-d '{
"actions": [
{"remove": {"index": "product_v1", "alias": "product_read"}},
{"add": {"index": "product_v2", "alias": "product_read"}}
]
}'预期输出
{"acknowledged":true}切换后可通过 GET /_alias/product_read 验证实际指向。写入链路若也使用别名,应单独维护写别名,并明确 is_write_index,避免多个索引同时可写。
切换前做分层校验
只比较文档总数不够,因为相同数量仍可能包含不同数据。建议至少完成以下校验:
- 总量校验:比较源数据有效记录数与新索引文档数,解释允许的差值。
- 分桶校验:按日期、状态或业务分区比较计数,快速定位缺失范围。
- 抽样校验:随机抽取主键,对比关键字段、分词结果和可搜索性。
- 删除校验:确认重建期间发生的删除事件已在新索引生效。
- 查询校验:用线上高频查询回放,比较命中数、排序和响应时间。
若数据量较大,可对关键字段做分片哈希或校验和,而不是逐条拉回比较。校验结果必须保存本次重建批次、索引版本、offset、差异数量和负责人,便于审计与复盘。
回滚与清理
别名切换后不要立即删除旧索引。先观察错误率、查询延迟、命中结果和增量同步状态;出现严重异常时,用同样的 _aliases 原子操作把别名切回旧索引。
回滚能否成功取决于旧索引是否仍在接收切换后的增量。常见做法是短期双写两个索引,或保留完整增量日志,使旧索引能够补齐切换后的变化。仅保留旧索引文件但不保留后续变更,回滚后仍会数据落后。
确认新索引稳定且超过回滚窗口后,再删除旧索引和临时任务状态。清理前应核对快照、审计记录和增量日志保留策略,避免误删唯一可恢复数据。
本课总结
- 全量重建必须从明确的增量起点开始,并在切换前追平新增、更新和删除
- 版本化索引配合
_aliases原子操作,可以把切换窗口压缩到一次请求 - 多层校验、旧索引增量保持和延迟清理,共同构成可执行的回滚能力
下一课预告
下一课将围绕同步任务的可观测性,设计延迟、吞吐、失败批次、死信和数据差异指标,让数据链路能够被持续监控和快速定位。