Linux 与服务器运维 / 系统课时

排查服务重启与端口冲突

排查服务重启与端口冲突

服务反复重启时,真正的问题往往不在“重启”本身,而在进程退出的原因。本篇用 systemd 重启计数、退出码、日志和端口监听状态串起证据链,快速区分配置、依赖、权限与地址占用,并用可重复检查验证修复是否稳定。

学习目标

  • 能从 systemd 状态判断服务是否进入自动重启循环
  • 能用退出码、日志与监听端口定位常见根因
  • 能在修复后验证进程、端口和重启计数是否恢复稳定

先确认是不是 systemd 在反复拉起

先不要连续执行 restart。如果单元配置了 Restart=on-failure 或 Restart=always,进程每次异常退出后都会被 systemd 再次启动,表面现象就是“服务一会儿起来、一会儿又掉”。

将示例中的服务名替换成实际单元名。NRestarts 表示 systemd 已执行的自动重启次数,ExecMainCode 与 ExecMainStatus 用来判断主进程怎样退出。

bash
SERVICE="myapp.service"

systemctl show "$SERVICE"   -p ActiveState   -p SubState   -p NRestarts   -p ExecMainCode   -p ExecMainStatus

systemctl status "$SERVICE" --no-pager -l

预期输出

text
ActiveState=activating
SubState=auto-restart
NRestarts=6
ExecMainCode=1
ExecMainStatus=1
...
Main process exited, code=exited, status=1/FAILURE

状态、计数和时间会随现场变化。如果 NRestarts 持续增加,说明必须先找退出原因,而不是继续手工重启。

按证据链定位退出原因

排查顺序应保持固定:先看 systemd 记录的退出方式,再看应用日志,最后核对依赖、权限与监听资源。这样可以避免看到一条错误日志就直接修改配置。

bash
SERVICE="myapp.service"

journalctl -u "$SERVICE" --since "-10 min" --no-pager | tail -n 100
systemctl cat "$SERVICE"

预期输出

text
<TIME> host myapp[<ID>]: failed to load config: <PATH>
<TIME> host systemd[1]: myapp.service: Main process exited, code=exited, status=1/FAILURE
<TIME> host systemd[1]: myapp.service: Scheduled restart job, restart counter is at 6.

<TIME>、<ID> 与 <PATH> 代表现场动态值。若日志指向配置文件,就检查语法和路径;若是 No such file or directory,继续核对依赖文件或启动命令;若是 Permission denied,核对运行用户、目录权限和安全策略;若出现 Address already in use,转入端口冲突检查。

systemd 服务反复退出与端口冲突定位流程

端口冲突先确认占用者

不要看到端口被占用就执行 kill -9。同一端口可能由另一套 systemd 单元、容器代理、旧进程或 socket activation 管理;直接杀进程可能让它马上被守护程序拉起,也可能误伤正常实例。

下面以 8080 为例,同时查看监听套接字和占用进程。实际端口可替换为 <PORT> 对应的值。

bash
PORT=8080

sudo ss -lntp "sport = :$PORT"
PID="$(sudo lsof -t -iTCP:"$PORT" -sTCP:LISTEN | head -n 1)"

if [ -n "$PID" ]; then
  ps -fp "$PID"
else
  echo "no listener on port $PORT"
fi

预期输出

text
LISTEN 0 128 0.0.0.0:8080 0.0.0.0:* users:(("python3",pid=<ID>,fd=3))
UID          PID    PPID  C STIME TTY          TIME CMD
app         <ID>       1  0 <TIME> ?        00:00:00 python3 <PATH>

如果占用者本来就是目标服务,应继续检查是否重复启动了第二个实例;如果是另一项合法服务,应调整其中一方的监听地址或端口;如果确认是遗留进程,应优先通过它所属的 systemd 单元、容器或进程管理器停止,而不是直接强杀。

修复高频根因

配置错误通常要回到启动命令和配置文件本身,修改后先做应用提供的配置校验;依赖缺失要确认文件、动态库、挂载或网络依赖确实存在;权限问题要同时检查文件属主、目录逐级执行权限以及 SELinux/AppArmor 等限制;端口冲突则要明确哪个实例应该保留。

若修改了 systemd 单元文件,需要先让管理器重新加载,再重启目标服务。

bash
SERVICE="myapp.service"

sudo systemctl daemon-reload
sudo systemctl restart "$SERVICE"
systemctl is-active "$SERVICE"

预期输出

text
active

只有编辑了单元文件或 drop-in 时才需要 daemon-reload;单纯修改应用自己的配置文件通常不需要这一步。

用稳定性检查确认修复

修复后的验证至少覆盖三件事:服务状态为运行中、目标端口由正确进程监听、NRestarts 在观察窗口内不再增加。下面连续采样两次重启计数,便于发现“刚启动就再次退出”的情况。

bash
SERVICE="myapp.service"
PORT=8080

systemctl show "$SERVICE" -p ActiveState -p SubState -p NRestarts
sudo ss -lntp "sport = :$PORT"
sleep 10
systemctl show "$SERVICE" -p ActiveState -p SubState -p NRestarts

预期输出

text
ActiveState=active
SubState=running
NRestarts=<ID>
LISTEN 0 128 0.0.0.0:8080 0.0.0.0:* users:(("myapp",pid=<ID>,fd=<ID>))
ActiveState=active
SubState=running
NRestarts=<ID>

两次 NRestarts 应保持相同,<ID> 等动态值以现场为准。再结合健康检查和最近日志确认没有新增错误,才能判定服务已经从“被 systemd 不断拉起”恢复为稳定运行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查服务重启与端口冲突

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通