NoSQL 与搜索 / 系统课时
理解 Translog 持久性成本
理解 Translog 持久性成本
Elasticsearch 的写入确认不只取决于 Lucene 索引操作,还取决于 Translog 是否已经持久化。本课把 fsync 放回完整写入路径中,比较 request 与 async 两种 durability,并说明怎样在不混淆 refresh、flush 的前提下判断延迟与数据风险。
学习目标
- 说明 Translog、
fsync与客户端写入确认之间的关系。 - 区分
index.translog.durability=request和async的延迟与故障语义。 - 在测试索引上查看、修改并验证 Translog 配置,避免把搜索可见性当成持久性。
Translog 解决的是已确认写入的持久性
文档写入分片时,Elasticsearch 会更新 Lucene 相关内存结构并把操作追加到 Translog。Translog 只有在 fsync 并提交后,相关内容才真正具备针对进程、操作系统或硬件故障的持久性;Lucene flush 则会产生新的 commit point,并开启新的 Translog generation,两者不是同一个动作。
默认 index.translog.durability 为 request。在这种模式下,索引、删除、更新或 Bulk 请求只有在主分片以及每个已分配副本的 Translog 成功 fsync 并提交后才向客户端报告成功。默认 index.translog.sync_interval 为 5s,允许值不能小于 100ms。

request 与 async 的真正差异
request 把持久化等待放进请求完成路径,代价是每个写请求都可能承担存储同步延迟。这里的“请求”包括 Bulk:一个 Bulk 中可以装很多文档,因此批量写入能够摊薄同步与网络往返成本。它并不是“每个文档都单独 fsync 一次”。
async 则把 Translog 的 fsync 与提交放到后台周期执行,周期由 index.translog.sync_interval 控制。故障发生时,自上一次自动提交之后已经向客户端确认的操作可能被丢弃,因此它是明确的 durability 换 latency,而不是免费的性能开关。
在测试索引上验证配置
下面用独立实验索引显式设置 durability,避免修改生产索引。示例先验证默认安全语义,再切到 async,最后恢复 request。
set -euo pipefail
: "${ES_URL:?set ES_URL, for example https://localhost:9200}"
: "${API_KEY:?set API_KEY}"
INDEX=translog-lab
# 使用独立索引,避免实验修改现有业务索引。
curl -fSs -X DELETE -H "Authorization: ApiKey $API_KEY" "$ES_URL/$INDEX" >/dev/null 2>&1 || true
curl -fSs -X PUT -H "Authorization: ApiKey $API_KEY" -H 'Content-Type: application/json' "$ES_URL/$INDEX?filter_path=acknowledged" -d '{"settings":{"number_of_shards":1,"number_of_replicas":0,"index.translog.durability":"request","index.translog.sync_interval":"5s"}}'
curl -fSs -H "Authorization: ApiKey $API_KEY" "$ES_URL/$INDEX/_settings?flat_settings=true&filter_path=*.settings.index.translog.*"
# 仅在实验中切换 async,观察配置语义而不是把它当成默认优化。
curl -fSs -X PUT -H "Authorization: ApiKey $API_KEY" -H 'Content-Type: application/json' "$ES_URL/$INDEX/_settings" -d '{"index.translog.durability":"async","index.translog.sync_interval":"5s"}'
curl -fSs -H "Authorization: ApiKey $API_KEY" "$ES_URL/$INDEX/_settings?flat_settings=true&filter_path=*.settings.index.translog.*"
# 实验结束立即恢复 request durability。
curl -fSs -X PUT -H "Authorization: ApiKey $API_KEY" -H 'Content-Type: application/json' "$ES_URL/$INDEX/_settings" -d '{"index.translog.durability":"request"}'预期输出
{"acknowledged":true}
{"translog-lab":{"settings":{"index.translog.durability":"request","index.translog.sync_interval":"5s"}}}
{"acknowledged":true}
{"translog-lab":{"settings":{"index.translog.durability":"async","index.translog.sync_interval":"5s"}}}
{"acknowledged":true}如果索引名、认证方式或集群策略不同,响应外层字段保持相同语义,但实际环境可能附带其他未被 filter_path 保留的信息。index.translog.durability 与 index.translog.sync_interval 都是可动态更新的索引设置。
不要把 durability、refresh 和 flush 混为一谈
refresh 解决“新文档什么时候能被搜索到”,不是“已确认写入是否已经 fsync”。提高 refresh_interval 常用于降低持续写入时的 refresh 成本,但它不会把 async 变成 request,也不会提供相同的故障保证。
flush 会创建 Lucene commit point 并开始新的 Translog generation,主要作用之一是控制恢复时需要重放的 Translog 规模。日常运行通常让 Elasticsearch 自动 flush,不需要为了每次写入确认而手工调用 _flush。
因此,评估 Translog 成本时应先固定 Bulk 大小、副本数和磁盘条件,再观察请求延迟与吞吐;只有业务明确接受最近已确认操作在故障后丢失的风险时,才有理由把 async 纳入方案。对多数生产写入,保留 request 并通过批处理摊薄持久化成本,是更容易证明正确性的基线。