可观测性与稳定性 / 系统课时
部署前先检查主机资源与内核
部署前先检查主机资源与内核
Elasticsearch 对内存、磁盘、文件描述符和虚拟内存都有明确运行需求。与其等服务启动失败后逐条追日志,不如部署前完成一次主机体检,先发现资源不足和内核限制,建立可重复的环境基线。
学习目标
- 检查 CPU、内存、磁盘和文件描述符等基础资源
- 理解
vm.max_map_count为什么会影响 Elasticsearch - 根据检查结果区分资源不足与系统限制问题
先做一轮主机体检
在 Linux 主机上,可以先运行下面这组只读命令。它们不会修改系统配置,适合作为部署前检查。df 中的挂载路径应覆盖计划存放 Elasticsearch 数据的文件系统。
printf '%s\n' '=== CPU ==='
nproc
printf '%s\n' '=== MEMORY ==='
free -h
printf '%s\n' '=== DISK ==='
df -h
printf '%s\n' '=== FILE LIMIT ==='
ulimit -n
printf '%s\n' '=== VM MAP COUNT ==='
sysctl vm.max_map_count预期输出的具体数值取决于主机配置,重点是确认每一项都能正常读取,例如:
=== CPU ===
<CPU_COUNT>
=== MEMORY ===
<HOST_MEMORY>
=== DISK ===
<FILESYSTEM_USAGE>
=== FILE LIMIT ===
<OPEN_FILE_LIMIT>
=== VM MAP COUNT ===
vm.max_map_count = <VALUE>这里的动态值不要与示例机器比较绝对大小,而应结合计划部署的 Elasticsearch 版本、节点角色、JVM 堆配置和日志量判断是否满足需求。
内存和磁盘要看什么
CPU 数量决定并发处理能力的一部分,但实验环境最常见的瓶颈通常是内存。free -h 不应只看 free 列,Linux 会主动利用空闲内存作为缓存,更有参考意义的是 available。如果主机还要同时运行 Logstash 和 Kibana,应为操作系统以及其他进程保留空间。
磁盘不仅要看总容量,还要确认 Elasticsearch 数据目录实际位于哪个文件系统。日志索引持续增长,如果数据盘已经接近容量上限,即使服务当前能够启动,也会很快进入磁盘压力状态。生产环境还应结合日志保留周期估算容量,而不是只满足首次启动。
检查文件描述符与虚拟内存映射
Elasticsearch 会同时访问大量索引和分片文件,因此进程可打开文件数过低会成为运行限制。ulimit -n 显示的是当前 shell 的限制;如果 Elasticsearch 由 systemd 启动,最终还要检查服务进程实际获得的限制,不能只凭登录 shell 的结果下结论。
Linux 上还应检查 vm.max_map_count。Elasticsearch 会使用内存映射访问索引文件,值过低可能触发启动检查失败。现代 Elasticsearch 官方部署要求通常使用至少 262144;具体部署仍应以所用版本的官方要求为准。
需要临时调整时,可执行:
sudo sysctl -w vm.max_map_count=262144
sysctl vm.max_map_count预期输出:第一条命令修改当前运行内核的值,第二条用于确认生效。
vm.max_map_count = 262144
vm.max_map_count = 262144sysctl -w 的修改通常不会作为重启后的持久配置。正式环境应通过发行版适用的 sysctl 配置文件持久化,并在变更后重新读取验证。
部署前怎样判定可以继续
检查完成后,不要把“命令执行成功”等同于“资源足够”。CPU、可用内存和数据盘容量属于容量规划问题,应根据节点职责和负载决定;文件描述符、vm.max_map_count 等则属于系统限制,需要满足当前 Elasticsearch 版本的部署要求。
完成这些检查后再部署,可以把后续故障范围明显缩小:如果服务仍无法启动,就可以优先检查 JVM、目录权限、配置文件和 Elasticsearch 启动日志,而不是反复怀疑最基础的主机条件。