NoSQL 与搜索 / 系统课时

理解 Translog 持久性成本

理解 Translog 持久性成本

Elasticsearch 的写入确认不只取决于 Lucene 索引操作,还取决于 Translog 是否已经持久化。本课把 fsync 放回完整写入路径中,比较 request 与 async 两种 durability,并说明怎样在不混淆 refresh、flush 的前提下判断延迟与数据风险。

学习目标

  • 说明 Translog、fsync 与客户端写入确认之间的关系。
  • 区分 index.translog.durability=request 和 async 的延迟与故障语义。
  • 在测试索引上查看、修改并验证 Translog 配置,避免把搜索可见性当成持久性。

Translog 解决的是已确认写入的持久性

文档写入分片时,Elasticsearch 会更新 Lucene 相关内存结构并把操作追加到 Translog。Translog 只有在 fsync 并提交后,相关内容才真正具备针对进程、操作系统或硬件故障的持久性;Lucene flush 则会产生新的 commit point,并开启新的 Translog generation,两者不是同一个动作。

默认 index.translog.durability 为 request。在这种模式下,索引、删除、更新或 Bulk 请求只有在主分片以及每个已分配副本的 Translog 成功 fsync 并提交后才向客户端报告成功。默认 index.translog.sync_interval 为 5s,允许值不能小于 100ms。

Translog request 与 async 的确认时序

request 与 async 的真正差异

request 把持久化等待放进请求完成路径,代价是每个写请求都可能承担存储同步延迟。这里的“请求”包括 Bulk:一个 Bulk 中可以装很多文档,因此批量写入能够摊薄同步与网络往返成本。它并不是“每个文档都单独 fsync 一次”。

async 则把 Translog 的 fsync 与提交放到后台周期执行,周期由 index.translog.sync_interval 控制。故障发生时,自上一次自动提交之后已经向客户端确认的操作可能被丢弃,因此它是明确的 durability 换 latency,而不是免费的性能开关。

在测试索引上验证配置

下面用独立实验索引显式设置 durability,避免修改生产索引。示例先验证默认安全语义,再切到 async,最后恢复 request。

bash
set -euo pipefail

: "${ES_URL:?set ES_URL, for example https://localhost:9200}"
: "${API_KEY:?set API_KEY}"
INDEX=translog-lab

# 使用独立索引,避免实验修改现有业务索引。
curl -fSs -X DELETE   -H "Authorization: ApiKey $API_KEY"   "$ES_URL/$INDEX" >/dev/null 2>&1 || true

curl -fSs -X PUT   -H "Authorization: ApiKey $API_KEY"   -H 'Content-Type: application/json'   "$ES_URL/$INDEX?filter_path=acknowledged"   -d '{"settings":{"number_of_shards":1,"number_of_replicas":0,"index.translog.durability":"request","index.translog.sync_interval":"5s"}}'

curl -fSs   -H "Authorization: ApiKey $API_KEY"   "$ES_URL/$INDEX/_settings?flat_settings=true&filter_path=*.settings.index.translog.*"

# 仅在实验中切换 async,观察配置语义而不是把它当成默认优化。
curl -fSs -X PUT   -H "Authorization: ApiKey $API_KEY"   -H 'Content-Type: application/json'   "$ES_URL/$INDEX/_settings"   -d '{"index.translog.durability":"async","index.translog.sync_interval":"5s"}'

curl -fSs   -H "Authorization: ApiKey $API_KEY"   "$ES_URL/$INDEX/_settings?flat_settings=true&filter_path=*.settings.index.translog.*"

# 实验结束立即恢复 request durability。
curl -fSs -X PUT   -H "Authorization: ApiKey $API_KEY"   -H 'Content-Type: application/json'   "$ES_URL/$INDEX/_settings"   -d '{"index.translog.durability":"request"}'

预期输出

text
{"acknowledged":true}
{"translog-lab":{"settings":{"index.translog.durability":"request","index.translog.sync_interval":"5s"}}}
{"acknowledged":true}
{"translog-lab":{"settings":{"index.translog.durability":"async","index.translog.sync_interval":"5s"}}}
{"acknowledged":true}

如果索引名、认证方式或集群策略不同,响应外层字段保持相同语义,但实际环境可能附带其他未被 filter_path 保留的信息。index.translog.durability 与 index.translog.sync_interval 都是可动态更新的索引设置。

不要把 durability、refresh 和 flush 混为一谈

refresh 解决“新文档什么时候能被搜索到”,不是“已确认写入是否已经 fsync”。提高 refresh_interval 常用于降低持续写入时的 refresh 成本,但它不会把 async 变成 request,也不会提供相同的故障保证。

flush 会创建 Lucene commit point 并开始新的 Translog generation,主要作用之一是控制恢复时需要重放的 Translog 规模。日常运行通常让 Elasticsearch 自动 flush,不需要为了每次写入确认而手工调用 _flush。

因此,评估 Translog 成本时应先固定 Bulk 大小、副本数和磁盘条件,再观察请求延迟与吞吐;只有业务明确接受最近已确认操作在故障后丢失的风险时,才有理由把 async 纳入方案。对多数生产写入,保留 request 并通过批处理摊薄持久化成本,是更容易证明正确性的基线。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 Translog 持久性成本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通