NoSQL 与搜索 / 系统课时

调整 Refresh Interval

调整 Refresh Interval

Refresh 决定已写入文档何时对搜索可见,也决定 Lucene 新 segment 创建得有多频繁。把间隔调大通常能减少写入期的 refresh 与后续 merge 压力,但会放大可见性延迟。本课用明确的可见性 SLA 和验证方法选择安全值。

学习目标

  • 能解释 refresh、搜索可见性与 segment 创建成本之间的关系。
  • 能依据业务可见性要求选择 index.refresh_interval,而不是机械追求更长间隔。
  • 能安全地临时关闭自动 refresh,并在批量导入结束后恢复与验证。

先把可见性要求变成参数

index.refresh_interval 控制后台 refresh 的周期。写入请求返回成功,只说明写入已经被 Elasticsearch 接受,并不等于文档立刻能被普通搜索命中。若业务要求“写入后约 30 秒内可搜索”,可以把 30 秒作为候选值;若页面必须近实时看到新内容,就不能为了吞吐把间隔任意拉长。

对于持续写入的索引,refresh 越频繁,越容易产生大量较小的 Lucene segment;这些 segment 随后还需要合并,增加 CPU、磁盘 I/O 与文件句柄压力。调大间隔的收益因此主要发生在高写入期,而代价是更长的搜索可见性延迟。

写入、refresh、segment 与搜索可见性的时间关系

在线业务选择一个可接受的间隔

先从业务 SLA 反推上限,再观察写入吞吐、refresh 耗时、segment 数量和 merge 压力。若把间隔从较短值提高到 30s 后,吞吐改善且搜索仍满足时效要求,就可以保留;若用户必须在几秒内看到新数据,应缩短间隔或只在少数需要“写后即读”的请求上采用等待策略。

不要把 refresh=true 加到每次写入或 Bulk 请求上作为“保证实时”的默认方案。它会主动触发 refresh,容易制造小 segment。需要让某个请求在数据可搜索后再返回时,优先评估 refresh=wait_for;它等待后续 refresh,而不是每次主动强制一个新的 refresh。

动态修改并验证设置

下面示例创建一个测试索引,把 refresh interval 设置为 30s,再读取实际生效值。该设置是动态索引设置,修改时不需要关闭索引。

bash
export ES_URL="https://localhost:9200"
export ES_API_KEY="<API_KEY>"
export CA_CERT="<PATH>/http_ca.crt"

curl -sS --cacert "$CA_CERT" -H "Authorization: ApiKey $ES_API_KEY" -H "Content-Type: application/json" -X PUT "$ES_URL/logs-refresh-lab?filter_path=acknowledged" -d '{"settings":{"number_of_shards":1,"number_of_replicas":0}}'
echo

curl -sS --cacert "$CA_CERT" -H "Authorization: ApiKey $ES_API_KEY" -H "Content-Type: application/json" -X PUT "$ES_URL/logs-refresh-lab/_settings?filter_path=acknowledged" -d '{"index":{"refresh_interval":"30s"}}'
echo

curl -sS --cacert "$CA_CERT" -H "Authorization: ApiKey $ES_API_KEY" "$ES_URL/logs-refresh-lab/_settings?filter_path=*.settings.index.refresh_interval"
echo

预期输出

text
{"acknowledged":true}
{"acknowledged":true}
{"logs-refresh-lab":{"settings":{"index":{"refresh_interval":"30s"}}}}

如果索引已存在,第一条创建命令应省略;这里只为让实验可独立复现。生产修改前应记录原值,并用真实写入与查询流量观察至少一个稳定窗口,而不是只看设置 API 返回成功。

批量导入时临时关闭自动 Refresh

离线回灌、一次性迁移或大批量初始装载中,如果导入期间不需要搜索新数据,可以把 index.refresh_interval 临时设为 -1。这样不会按周期自动 refresh;导入完成后恢复业务需要的间隔,并执行一次显式 refresh,使已写入数据进入可搜索状态。

恢复时不要盲目写死一个“默认值”。最安全的做法是变更前读取并保存原设置,结束后恢复该值;如果原本依赖部署默认值,则可以将该设置恢复为 null。最终验收要同时确认:新文档已可搜索、refresh 间隔符合 SLA、segment 与 merge 压力没有因过度频繁 refresh 再次升高。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调整 Refresh Interval

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通