容器与云原生 / 系统课时

服务不断重启应该先看什么

服务不断重启应该先看什么

服务进入重启循环时,先不要反复执行重启命令。真正需要确认的是:主进程为什么退出、退出码是什么、是否被 OOM Kill、健康检查是否失败,以及 Restart Policy 为什么又把它拉起。按这个顺序收集证据,通常能快速缩小根因。

学习目标

  • 用容器状态、退出码、重启次数和日志定位重启循环
  • 区分健康检查失败、进程退出与 Restart Policy 的作用
  • 修复配置后重新创建服务并验证是否稳定

先抓住状态、退出原因和日志

以下以单副本 api 服务为例。即使容器已经退出,也用 --all 找到它,再通过 docker inspect 读取真实运行状态与重启策略。

bash
CID="$(docker compose ps --all --quiet api)"
test -n "$CID" || { echo "api container not found"; exit 1; }
docker inspect --format 'status={{.State.Status}} exit={{.State.ExitCode}} oom={{.State.OOMKilled}} restarts={{.RestartCount}} policy={{.HostConfig.RestartPolicy.Name}}' "$CID"
docker inspect --format '{{if .State.Health}}health={{.State.Health.Status}}{{else}}health=not-configured{{end}}' "$CID"
docker compose logs --tail=80 api

预期输出:

text
status=<STATUS> exit=<EXIT_CODE> oom=<true|false> restarts=<COUNT> policy=<POLICY>
health=<HEALTH_STATUS>
<LOG_LINES>

这些值本来就会随故障变化。重点不是得到某个固定数字,而是观察 restarts 是否持续增加,并把退出码、OOM 标记和退出前最后几行日志对应起来。

Compose 服务重启循环的诊断顺序

四类信号分别说明什么

status=restarting 且重启次数持续增加,说明容器的主进程反复结束,而运行时又根据重启策略将它启动。退出码非零通常代表进程主动报告失败;如果看到常见的 137,也不要只凭数字判断 OOM,应继续确认 OOMKilled 是否为 true。

OOMKilled=true 说明进程曾被内核因内存问题终止。此时应检查内存限制、应用峰值用量和最近的配置变化,而不是单纯提高重启次数。

health=unhealthy 表示健康探针连续失败,但普通容器的 Restart Policy 是在容器终止后生效,健康状态变差本身不会自动把仍在运行的容器重启。因此,如果你看到“unhealthy 但没有退出”,应去查探针命令、依赖服务和应用就绪条件,而不是把它误判成 Restart Policy 触发。

日志通常最接近应用根因。启动参数错误、必需环境变量缺失、配置文件解析失败、权限不足、数据库无法连接等问题,往往都出现在主进程退出前的最后几十行。

Restart Policy 只决定退出后怎么办

restart: "no" 不自动重启;on-failure 只在非零退出时重启;always 与 unless-stopped 会在容器终止后持续尝试恢复。因此,一个启动后立即退出的进程,加上积极的重启策略,就会形成肉眼可见的重启循环。

修复后重新创建并验证

如果修改了 Compose 中的环境变量、启动命令、健康检查或其他容器配置,仅执行 docker compose restart 不会把这些新配置应用到既有容器。先验证 Compose 配置,再重新创建目标服务。

bash
docker compose config --quiet
docker compose up -d --force-recreate api
docker compose ps api

预期输出:

text
<NO_OUTPUT_WHEN_CONFIG_IS_VALID>
<RECREATE_PROGRESS>
<COMPOSE_PS_TABLE_WITH_STABLE_STATUS>

配置合法时,docker compose config --quiet 通常不输出内容;重新创建后的进度文本会随 Compose 版本和终端模式变化。验收重点是服务不再反复进入 restarting,重启次数不再增长,应用日志没有新的致命错误;如果配置了健康检查,还应等待状态稳定为 healthy 后再结束排障。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

服务不断重启应该先看什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通