NoSQL 与搜索 / 系统课时
利用 OS Page Cache 改善读取
利用 OS Page Cache 改善读取
搜索延迟高不一定是 JVM 堆不足。Lucene 索引文件最终由操作系统读取,热点文件页能留在 OS Page Cache 时,随机读取通常会从内存满足;热工作集超过可用页缓存时,磁盘 I/O 才会持续进入关键路径。本课给出一套从内存、读盘到重复查询的判断方法。
学习目标
- 解释 JVM Heap、Lucene segment 文件与 OS Page Cache 的职责边界。
- 用主机指标和重复查询判断热数据工作集是否装得进页缓存。
- 识别内存挤占、swap 与过大 readahead 导致的页缓存抖动。
页缓存为什么会直接影响搜索
Lucene segment 基本不可变,搜索会反复读取倒排索引、doc values、stored fields 等文件区域。Linux 会把近期访问的文件页留在可回收内存中:命中 Page Cache 时不需要再次从块设备取数据;未命中时才发生真实读 I/O。
因此 Elasticsearch 不能把机器内存全部交给 JVM。官方生产建议是给文件系统缓存保留充足空间,通常至少让约一半可用内存不被 JVM 堆占满;默认自动堆大小通常比手工把 Xmx 拉高更稳。容器环境还要按容器内存限制计算,而不是按宿主机总内存计算。

先判断是不是页缓存不够
在 Linux 数据节点上同时看内存余量和块设备读行为。iostat 来自 sysstat 包;lsblk 的 RA 可用于检查 readahead,尤其要留意 LVM、软件 RAID、dm-crypt 等设备层。
free -h
vmstat 1 5
lsblk -o NAME,RA,MOUNTPOINT,TYPE,SIZE
iostat -xz 1 5预期输出
free: Mem 行可看到 buff/cache 与 available,实际值为 <VALUE>
vmstat: bi/bo、si/so 等列会输出 <VALUE>
lsblk: 承载 path.data 的设备可看到 RA=<VALUE> KiB
iostat: 对应设备可看到 r/s、rkB/s、r_await、%util 等 <VALUE>单个指标不能下结论。若查询延迟升高时同时出现持续读吞吐、较高 r_await 或设备繁忙,而 MemAvailable 很低、缓存反复被挤出,就更像热工作集装不下。反之,buff/cache 很大本身不是内存泄漏;Linux 会在应用需要时回收这部分内存。
用重复查询区分冷读与热读
选择一条代表性搜索,固定 preference,并显式关闭 Request Cache,避免把整段响应缓存误判成 Page Cache 收益。不要在生产机上通过 drop_caches 制造冷缓存;冷启动、节点重启后的自然窗口或隔离压测环境更适合做对比。
ES_URL="https://localhost:9200"
INDEX="<INDEX>"
CA="<PATH>/http_ca.crt"
AUTH="elastic:<PASSWORD>"
for i in 1 2 3 4 5; do
curl -sS --cacert "$CA" -u "$AUTH" \
-H 'Content-Type: application/json' \
-X POST "$ES_URL/$INDEX/_search?request_cache=false&preference=page-cache-demo" \
-d '{"size":100,"query":{"match_all":{}}}' \
-o /dev/null \
-w "run=$i total=%{time_total}s\n"
done预期输出
run=1 total=<SECONDS>s
run=2 total=<SECONDS>s
run=3 total=<SECONDS>s
run=4 total=<SECONDS>s
run=5 total=<SECONDS>s如果后续运行明显更快,同时 iostat 的真实读 I/O 降低,说明页缓存正在承担主要加速作用。若每次仍有大量随机读且延迟不降,应继续核对热工作集大小、shard 数量、查询访问范围和存储延迟,而不是把所有问题归因于 JVM GC。
改善页缓存时优先改资源边界
第一优先级是避免过大的 JVM heap 和 swap,让操作系统有稳定空间保存热点文件页;Elasticsearch 进程被交换到磁盘会造成严重停顿。第二是缩小热工作集,例如减少无效字段读取、合理规划 shard、让查询只触碰必要时间范围。
还要检查块设备 readahead。Elasticsearch 搜索常包含随机读取,过大的 readahead 会把大量无关数据预读进缓存并挤掉真正热点;Elastic 对常见 Linux 设备建议从约 128 KiB 这一量级检查,而不是盲目设成数 MiB。任何调整都应在压测或维护窗口验证,并确认实际 path.data 对应的底层设备。
index.store.preload 可以预热特定文件类型,但它不是“越多越快”的开关:当预加载集合大于可用 Page Cache 时,反而会制造抖动。最终验收应同时看到查询 P95/P99 改善、磁盘读等待下降,并且 JVM 与系统仍保有安全内存余量。