Linux 与服务器运维 / 系统课时

排查服务启动失败

排查服务启动失败

systemd 服务启动失败时,最快的方法不是连续 restart,而是先保存状态、日志和退出码,再按“命令能否执行、运行身份是否有权限、资源是否冲突、依赖是否满足”的顺序缩小范围。本篇用一个可控故障演示完整证据链。

学习目标

  • 能从 systemctl status、journalctl 和 ExecMainStatus 提取第一轮故障证据。
  • 能区分路径或权限错误、端口占用、依赖未就绪等常见根因。
  • 能在修复后用服务状态和结果字段确认问题真正消失。

先制造一个可重复的失败

下面创建一个 ExecStart 指向不存在文件的测试服务。它会稳定触发执行阶段失败,适合练习读取 systemd 证据。生产环境不要为了排错修改真实服务来复现故障。

bash
set -euo pipefail

sudo tee /etc/systemd/system/anystack-broken.service >/dev/null <<'EOF'
[Unit]
Description=Anystack intentionally broken service
After=network.target

[Service]
Type=simple
ExecStart=/opt/anystack-demo/bin/missing-worker
Restart=no
EOF

sudo systemctl daemon-reload
sudo systemctl start anystack-broken.service >/dev/null 2>&1 || true
echo "broken-unit-ready"

预期输出

text
broken-unit-ready

此时不要立即继续重启。第一次失败附近的状态和日志通常最接近根因,尤其是启动命令、权限或依赖错误。

按证据顺序定位

先看 systemctl status,确认 unit 是否加载、当前状态、主进程退出信息和最近几条日志;再用 journalctl -u 展开完整日志。对于上面的故障,还可以读取 systemd 保存的结果字段,把“客户端命令失败”与“服务进程如何退出”分开。

bash
systemctl status anystack-broken.service --no-pager -l || true
journalctl -u anystack-broken.service -b -n 10 --no-pager
printf 'Result='
systemctl show anystack-broken.service -p Result --value
printf 'ExecMainStatus='
systemctl show anystack-broken.service -p ExecMainStatus --value

预期结果

text
Loaded: loaded (...)
Active: failed (...)
... status=203/EXEC ...
... EXEC ...
Result=exit-code
ExecMainStatus=203

203/EXEC 表示 systemd 在执行 ExecStart 阶段失败,常见原因是文件不存在、不可执行、解释器路径错误或目录权限阻断。不要只看 systemctl start 自身的退出码;服务进程的结果应以 Result、ExecMainCode、ExecMainStatus 和日志为准。

systemd 服务启动失败排查流程

把现象映射到下一项检查

下面这些命令用于确认具体根因;其中 <SERVICE>、<PATH>、<USER>、<PORT> 要替换为实际值。

现象或证据 下一项检查 重点判断
203/EXEC、No such file systemctl cat <SERVICE>、namei -l <PATH> ExecStart 是否绝对路径正确,文件及父目录是否可访问
Permission denied sudo -u <USER> test -x <PATH> unit 中的 User= 是否真的有执行和目录穿越权限
Address already in use `ss -ltnp grep ': '`
Dependency failed systemctl list-dependencies <SERVICE> 依赖 unit 是否失败,依赖关系是否写反或过强
配置已改但行为未变 systemctl cat <SERVICE> unit 修改后是否遗漏 daemon-reload,是否存在 drop-in 覆盖

修复并验证

本例的根因是启动文件不存在。创建该文件并赋予执行权限后直接重启即可;因为 unit 内容没有变化,这一步不需要再次 daemon-reload。

bash
set -euo pipefail

sudo install -d /opt/anystack-demo/bin
sudo tee /opt/anystack-demo/bin/missing-worker >/dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
echo "worker is running"
exec sleep infinity
EOF
sudo chmod 0755 /opt/anystack-demo/bin/missing-worker

sudo systemctl restart anystack-broken.service
systemctl is-active anystack-broken.service
systemctl show anystack-broken.service -p Result --value

预期输出

text
active
success

修复完成后至少验证两件事:服务当前是 active,并且 Result 不再保留本次启动的失败结果。若服务随后再次退出,应回到日志与退出码继续定位,而不是把“成功启动过一次”当成故障已经结束。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查服务启动失败

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通