Linux 与服务器运维 / 系统课时
排查服务启动失败
排查服务启动失败
systemd 服务启动失败时,最快的方法不是连续 restart,而是先保存状态、日志和退出码,再按“命令能否执行、运行身份是否有权限、资源是否冲突、依赖是否满足”的顺序缩小范围。本篇用一个可控故障演示完整证据链。
学习目标
- 能从
systemctl status、journalctl和ExecMainStatus提取第一轮故障证据。 - 能区分路径或权限错误、端口占用、依赖未就绪等常见根因。
- 能在修复后用服务状态和结果字段确认问题真正消失。
先制造一个可重复的失败
下面创建一个 ExecStart 指向不存在文件的测试服务。它会稳定触发执行阶段失败,适合练习读取 systemd 证据。生产环境不要为了排错修改真实服务来复现故障。
set -euo pipefail
sudo tee /etc/systemd/system/anystack-broken.service >/dev/null <<'EOF'
[Unit]
Description=Anystack intentionally broken service
After=network.target
[Service]
Type=simple
ExecStart=/opt/anystack-demo/bin/missing-worker
Restart=no
EOF
sudo systemctl daemon-reload
sudo systemctl start anystack-broken.service >/dev/null 2>&1 || true
echo "broken-unit-ready"预期输出
broken-unit-ready此时不要立即继续重启。第一次失败附近的状态和日志通常最接近根因,尤其是启动命令、权限或依赖错误。
按证据顺序定位
先看 systemctl status,确认 unit 是否加载、当前状态、主进程退出信息和最近几条日志;再用 journalctl -u 展开完整日志。对于上面的故障,还可以读取 systemd 保存的结果字段,把“客户端命令失败”与“服务进程如何退出”分开。
systemctl status anystack-broken.service --no-pager -l || true
journalctl -u anystack-broken.service -b -n 10 --no-pager
printf 'Result='
systemctl show anystack-broken.service -p Result --value
printf 'ExecMainStatus='
systemctl show anystack-broken.service -p ExecMainStatus --value预期结果
Loaded: loaded (...)
Active: failed (...)
... status=203/EXEC ...
... EXEC ...
Result=exit-code
ExecMainStatus=203203/EXEC 表示 systemd 在执行 ExecStart 阶段失败,常见原因是文件不存在、不可执行、解释器路径错误或目录权限阻断。不要只看 systemctl start 自身的退出码;服务进程的结果应以 Result、ExecMainCode、ExecMainStatus 和日志为准。

把现象映射到下一项检查
下面这些命令用于确认具体根因;其中 <SERVICE>、<PATH>、<USER>、<PORT> 要替换为实际值。
| 现象或证据 | 下一项检查 | 重点判断 |
|---|---|---|
203/EXEC、No such file |
systemctl cat <SERVICE>、namei -l <PATH> |
ExecStart 是否绝对路径正确,文件及父目录是否可访问 |
| Permission denied | sudo -u <USER> test -x <PATH> |
unit 中的 User= 是否真的有执行和目录穿越权限 |
| Address already in use | `ss -ltnp | grep ': '` |
| Dependency failed | systemctl list-dependencies <SERVICE> |
依赖 unit 是否失败,依赖关系是否写反或过强 |
| 配置已改但行为未变 | systemctl cat <SERVICE> |
unit 修改后是否遗漏 daemon-reload,是否存在 drop-in 覆盖 |
修复并验证
本例的根因是启动文件不存在。创建该文件并赋予执行权限后直接重启即可;因为 unit 内容没有变化,这一步不需要再次 daemon-reload。
set -euo pipefail
sudo install -d /opt/anystack-demo/bin
sudo tee /opt/anystack-demo/bin/missing-worker >/dev/null <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
echo "worker is running"
exec sleep infinity
EOF
sudo chmod 0755 /opt/anystack-demo/bin/missing-worker
sudo systemctl restart anystack-broken.service
systemctl is-active anystack-broken.service
systemctl show anystack-broken.service -p Result --value预期输出
active
success修复完成后至少验证两件事:服务当前是 active,并且 Result 不再保留本次启动的失败结果。若服务随后再次退出,应回到日志与退出码继续定位,而不是把“成功启动过一次”当成故障已经结束。