可观测性与稳定性 / 系统课时

部署前先检查主机资源与内核

部署前先检查主机资源与内核

Elasticsearch 对内存、磁盘、文件描述符和虚拟内存都有明确运行需求。与其等服务启动失败后逐条追日志,不如部署前完成一次主机体检,先发现资源不足和内核限制,建立可重复的环境基线。

学习目标

  • 检查 CPU、内存、磁盘和文件描述符等基础资源
  • 理解 vm.max_map_count 为什么会影响 Elasticsearch
  • 根据检查结果区分资源不足与系统限制问题

先做一轮主机体检

在 Linux 主机上,可以先运行下面这组只读命令。它们不会修改系统配置,适合作为部署前检查。df 中的挂载路径应覆盖计划存放 Elasticsearch 数据的文件系统。

bash
printf '%s\n' '=== CPU ==='
nproc
printf '%s\n' '=== MEMORY ==='
free -h
printf '%s\n' '=== DISK ==='
df -h
printf '%s\n' '=== FILE LIMIT ==='
ulimit -n
printf '%s\n' '=== VM MAP COUNT ==='
sysctl vm.max_map_count

预期输出的具体数值取决于主机配置,重点是确认每一项都能正常读取,例如:

text
=== CPU ===
<CPU_COUNT>
=== MEMORY ===
<HOST_MEMORY>
=== DISK ===
<FILESYSTEM_USAGE>
=== FILE LIMIT ===
<OPEN_FILE_LIMIT>
=== VM MAP COUNT ===
vm.max_map_count = <VALUE>

这里的动态值不要与示例机器比较绝对大小,而应结合计划部署的 Elasticsearch 版本、节点角色、JVM 堆配置和日志量判断是否满足需求。

内存和磁盘要看什么

CPU 数量决定并发处理能力的一部分,但实验环境最常见的瓶颈通常是内存。free -h 不应只看 free 列,Linux 会主动利用空闲内存作为缓存,更有参考意义的是 available。如果主机还要同时运行 Logstash 和 Kibana,应为操作系统以及其他进程保留空间。

磁盘不仅要看总容量,还要确认 Elasticsearch 数据目录实际位于哪个文件系统。日志索引持续增长,如果数据盘已经接近容量上限,即使服务当前能够启动,也会很快进入磁盘压力状态。生产环境还应结合日志保留周期估算容量,而不是只满足首次启动。

检查文件描述符与虚拟内存映射

Elasticsearch 会同时访问大量索引和分片文件,因此进程可打开文件数过低会成为运行限制。ulimit -n 显示的是当前 shell 的限制;如果 Elasticsearch 由 systemd 启动,最终还要检查服务进程实际获得的限制,不能只凭登录 shell 的结果下结论。

Linux 上还应检查 vm.max_map_count。Elasticsearch 会使用内存映射访问索引文件,值过低可能触发启动检查失败。现代 Elasticsearch 官方部署要求通常使用至少 262144;具体部署仍应以所用版本的官方要求为准。

需要临时调整时,可执行:

bash
sudo sysctl -w vm.max_map_count=262144
sysctl vm.max_map_count

预期输出:第一条命令修改当前运行内核的值,第二条用于确认生效。

text
vm.max_map_count = 262144
vm.max_map_count = 262144

sysctl -w 的修改通常不会作为重启后的持久配置。正式环境应通过发行版适用的 sysctl 配置文件持久化,并在变更后重新读取验证。

部署前怎样判定可以继续

检查完成后,不要把“命令执行成功”等同于“资源足够”。CPU、可用内存和数据盘容量属于容量规划问题,应根据节点职责和负载决定;文件描述符、vm.max_map_count 等则属于系统限制,需要满足当前 Elasticsearch 版本的部署要求。

完成这些检查后再部署,可以把后续故障范围明显缩小:如果服务仍无法启动,就可以优先检查 JVM、目录权限、配置文件和 Elasticsearch 启动日志,而不是反复怀疑最基础的主机条件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

部署前先检查主机资源与内核

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通