Linux 与服务器运维 / 知识点
systemd 服务管理与排障手册
手册条目
检查正向与反向依赖,定位服务为何被启动、停止或阻塞。
查看 systemd 服务依赖树
当服务被意外拉起、停止后连带影响其他单元,或启动长期卡在某个目标时,用 systemctl list-dependencies 查看依赖树,再用 systemctl show 区分“资源依赖”和“启动顺序”。树形结果适合快速定位,但不能单独证明本次启动或停止的直接原因。
命令定位
正向依赖从当前单元向下展开,回答“启动它还会拉起什么”;反向依赖从当前单元向上展开,回答“哪些单元依赖它”。默认递归显示,服务名应写完整后缀,例如 nginx.service,避免同名 socket、target 或 mount 单元造成误判。
基本语法与参数
systemctl list-dependencies [OPTIONS] UNIT预期输出
UNIT
● ├─<DEPENDENCY_UNIT>
● └─<TARGET_OR_SLICE>--reverse 查看反向依赖;--all 包含未激活的依赖;--plain 去掉树形连接线,便于脚本处理;--no-pager 直接输出到终端。排障时通常组合 --reverse --all,否则可能漏掉当前未运行但配置上仍有关联的单元。
高频用法
先看服务启动时会拉起的单元:
systemctl list-dependencies --all systemd-journald.service预期输出(不同发行版会增减分支)
systemd-journald.service
● ├─systemd-journald.socket
● └─system.slice再查哪些单元依赖该服务,用于评估停止或重启影响:
systemctl list-dependencies --reverse --all systemd-journald.service预期输出(仅示意树形方向)
systemd-journald.service
● └─sysinit.target
● └─basic.target最后核对真实关系类型和顺序约束:
systemctl show systemd-journald.service -p Requires -p Wants -p BindsTo -p PartOf -p After -p Before -p TriggeredBy预期输出(单元集合随系统版本变化)
Requires=<REQUIRED_UNITS>
Wants=<WANTED_UNITS>
BindsTo=<BOUND_UNITS>
PartOf=<PARENT_UNITS>
After=<ORDERING_UNITS>
Before=<ORDERING_UNITS>
TriggeredBy=<SOCKET_OR_PATH_UNITS>输出读取
树根是被查询单元,缩进越深表示递归层级越深。Requires=、Wants= 等描述启动和生命周期关联,After=、Before= 只描述排序,不会自动建立“必须启动”的关系。TriggeredBy= 非空时,应继续检查对应 socket、path 或 timer,它们可能才是服务被自动激活的入口。
风险与边界
依赖树是当前加载配置的静态关系,不等于本次事件的因果链。仅凭反向树直接停止服务,可能触发关键业务中断;安全做法是先检查 PartOf=、BindsTo=、Requires= 和近期日志,再在维护窗口执行变更。修改 unit 后未运行 systemctl daemon-reload,查询结果仍可能是旧配置。
排障清单
- 树中没有预期单元:确认 unit 名和后缀,执行
systemctl cat <UNIT>检查 drop-in,再运行systemctl daemon-reload。 - 服务无依赖却仍被拉起:检查
TriggeredBy=,并查看同名.socket、.path、.timer。 - 启动卡住:结合
systemctl list-jobs和systemctl status <UNIT>找到正在等待的 job。 - 怀疑是本次启动原因:查看
journalctl -b -u <UNIT>的时间线;依赖树只能提供候选关系。
在普通用户会话中创建、启停和设置用户级服务自启动。
管理 systemd 用户级服务
用户级服务适合在普通账号权限下长期运行代理、同步器或开发工具。unit 文件放在 ~/.config/systemd/user/,所有管理命令都使用 systemctl --user;不要用 sudo systemctl,否则操作的是系统级管理器。
命令定位
用户服务由当前账号的 user manager 管理,通常在登录后启动。推荐使用绝对路径,并把需要的环境变量写入 unit;交互式 shell 中的 PATH、代理变量和虚拟环境不会自动完整继承。开机即运行且退出登录后继续运行时,还需要启用 linger。
创建并启用
下面创建一个每分钟向用户日志写入时间的服务,可直接用于验证用户级 unit 的加载、启用和日志链路:
mkdir -p ~/.config/systemd/user
cat > ~/.config/systemd/user/heartbeat.service <<'EOF'
[Unit]
Description=User heartbeat logger
[Service]
Type=simple
ExecStart=/usr/bin/bash -lc 'while true; do date -Is; sleep 60; done'
Restart=on-failure
StandardOutput=journal
StandardError=journal
[Install]
WantedBy=default.target
EOF
systemctl --user daemon-reload
systemctl --user enable --now heartbeat.service
systemctl --user is-active heartbeat.service预期输出
Created symlink /home/<USER>/.config/systemd/user/default.target.wants/heartbeat.service → /home/<USER>/.config/systemd/user/heartbeat.service.
activedaemon-reload 只重新读取 unit,不会自动重启已有进程;修改 ExecStart= 后还要执行 restart。WantedBy=default.target 是常用的用户级自启动目标,不要照搬系统服务的 multi-user.target。
日常操作与验证
systemctl --user restart heartbeat.service
systemctl --user is-active heartbeat.service
journalctl --user-unit=heartbeat.service -n 3 --no-pager预期输出
active
<TIME> <HOST> bash[<PID>]: <ISO-8601-TIME>查看完整定义用 systemctl --user cat heartbeat.service,查看状态用 systemctl --user status heartbeat.service。暂时停止使用 systemctl --user stop heartbeat.service;取消自启动并立即停止使用 systemctl --user disable --now heartbeat.service。
开机自启动与 linger
默认情况下,用户管理器通常随登录会话启动;启用 linger 后,它可在系统启动时为该用户拉起,并在退出登录后继续存在:
sudo loginctl enable-linger "$USER"
loginctl show-user "$USER" -p Linger预期输出
Linger=yes
风险与边界
启用 linger 后,服务会在无人登录时持续占用 CPU、内存、网络和文件句柄;触发条件是 user manager 在后台常驻,后果可能是资源泄漏或任务失控。安全替代是仅在需要登录时运行,或改为受管理员控制并配置资源限制的系统级服务。用户级服务默认不能绑定低端口、写系统目录或切换到其他账号。
排障清单
- 报
Failed to connect to bus:确认以目标用户身份执行,检查/run/user/<UID>和loginctl user-status <USER>,不要在缺少用户会话的 sudo shell 中直接调用。 - unit 不存在:确认文件位于
~/.config/systemd/user/,执行systemctl --user daemon-reload,再用systemctl --user cat <UNIT>验证。 - 已 enable 但重启后未运行:检查
loginctl show-user <USER> -p Linger;未启用时通常要等用户登录。 - 程序找不到命令或配置:在
ExecStart=、WorkingDirectory=、Environment=或EnvironmentFile=中使用明确路径和变量。
无需编写永久单元文件,以临时 service 方式运行命令。
运行临时服务
systemd-run 用于把一条命令交给 systemd 作为临时 .service 管理,无需在 /etc/systemd/system 编写单元文件。适合一次性运维任务、短期守护进程和隔离执行;需要开机启动或长期维护时应改写正式 service 或 timer。
命令定位
默认调用系统级管理器,通常需 sudo,进程可能以 root 身份运行。加 --user 后交给当前用户管理器,不需要 root;临时单元只存在于运行时状态,不会因为执行过一次就自动变成永久配置。
高频用法
启动可观察的后台任务
下面创建名为 demo-sleep.service 的临时服务,限制最长运行十分钟,确认进入运行态后再停止。固定单元名便于后续用 systemctl 和 journalctl 查询。
sudo systemd-run --unit=demo-sleep --description='temporary sleep demo' --property=RuntimeMaxSec=10min --collect /usr/bin/sleep 300
systemctl is-active demo-sleep.service
sudo systemctl stop demo-sleep.service
echo stop_exit=$?预期输出
Running as unit: demo-sleep.service
active
stop_exit=0active 表示命令仍在执行,stop_exit=0 表示停止请求成功。使用 --collect 后,单元停止并被回收时,systemctl status 可能很快显示单元不存在,这是正常行为。
同步取得标准输出
短任务需要像普通命令一样等待结果时,同时使用 --wait 和 --pipe。此例在用户级管理器中运行,--quiet 用于隐藏 systemd-run 自身的提示信息。
systemd-run --user --quiet --wait --pipe --collect /usr/bin/echo job-ok预期输出
job-ok指定运行目录
服务进程不会自动继承当前终端的工作目录。通过单元属性显式设置,避免脚本因相对路径落到意外位置。
systemd-run --user --quiet --wait --pipe --collect --property=WorkingDirectory=/tmp /usr/bin/pwd预期输出
/tmp关键参数
| 参数 | 作用 |
|---|---|
--unit=name |
指定稳定单元名;省略时自动生成随机名称 |
--user |
使用当前用户的 systemd 管理器,降低 root 风险 |
--property=K=V |
设置 User=、WorkingDirectory=、RuntimeMaxSec=、资源限制等单元属性 |
--wait |
等待服务结束,并让 systemd-run 返回任务结果 |
--pipe |
将服务的标准输入、输出和错误连接到当前终端 |
--collect |
单元停止后尽快回收运行时状态,避免失败单元长期残留 |
风险与边界
系统级命令默认可能以 root 运行;当命令路径、参数或输入可被外部用户控制时,误执行会直接修改主机。优先使用 --user,或显式设置 --property=User=<USER>,并对 CPU、内存和运行时间设置上限。
systemd 不会替你解析管道、重定向和通配符。只有确实需要 shell 语法时才调用 /bin/bash -lc '<COMMAND>';不要把未校验输入拼进 shell 字符串,安全替代方案是直接传递程序路径和独立参数。
临时单元不会跨重启保留,也不适合周期任务。需要重启后继续、依赖关系明确或可审计变更时,创建正式 .service 与 .timer,再执行 systemctl daemon-reload 和启用操作。
排障清单
- 报
Unit ... already exists:更换唯一的--unit名;若旧单元处于 failed,先执行systemctl reset-failed <UNIT>。 - 状态为
203/EXEC:检查是否使用绝对路径、文件是否可执行、脚本解释器是否存在,以及运行用户是否有目录权限。 --user报无法连接总线:确认当前用户管理器已启动;无人登录仍需运行时,由管理员评估是否执行loginctl enable-linger <USER>。- 命令无终端输出:未使用
--pipe时读取journalctl -u <UNIT>.service;同时确认程序是否把日志写入独立文件。 - 环境变量缺失:服务不会完整继承交互式 shell 环境,使用
--setenv=KEY=VALUE或Environment=属性,并避免传递明文密钥。
兼容性
systemd-run 需要 systemd 作为服务管理器;未以 systemd 作为 PID 1 的容器通常不能使用系统级模式。较旧发行版若不支持 --pipe 或 --collect,可去掉相应选项,通过 journal 读取输出,并在失败后用 systemctl reset-failed 清理状态。
读取指定服务的历史日志、最近日志和详细字段。
查看服务日志
journalctl -u 按 systemd 单元读取日志,可快速查看历史记录、最近若干行、当前启动周期和结构化字段。排障时先确认完整单元名,再逐步缩小时间、启动批次和日志级别,能避免在全局 journal 中盲目搜索。
命令定位
基本形式是 journalctl -u <UNIT>。系统服务日志通常需要 sudo 才能完整读取;用户服务改用 journalctl --user -u <UNIT>。服务名应包含实例和后缀,例如 worker@1.service,否则可能查不到目标记录。
高频用法
查看最近日志
下面读取 journald 服务最近五条记录,禁止分页器并使用 ISO 风格时间。时间、主机名、PID、日志目录和消息内容会因主机而不同。
sudo journalctl -u systemd-journald.service -n 5 --no-pager -o short-iso预期输出
<TIME> <HOST> systemd-journald[<PID>]: Journal started
<TIME> <HOST> systemd-journald[<PID>]: Runtime Journal (/run/log/journal/<ID>) is <SIZE>, max <SIZE>.从左到右依次读取时间、主机、进程标识与 PID、消息正文。只想跳到日志末尾可加 -e;需要持续跟随新日志可加 -f,并用 Ctrl+C 退出。
限定当前启动、时间和级别
此命令只查当前启动周期最近三十分钟内的 warning 及更严重日志,适合快速判断服务是否刚发生异常。
sudo journalctl -u systemd-journald.service -b --since '-30 min' -p warning --no-pager -o short-iso预期输出
-- No entries --该结果表示筛选范围内没有匹配记录;若存在故障,会按时间顺序打印对应日志。跨主机比对时间时加 --utc,避免本地时区差异造成误判。
查看详细字段
普通文本不足以确认进程、启动批次或优先级时,使用 -o verbose。下面只取最新一条,输出通常包含更多字段;示例仅列出排障最常用的字段。
sudo journalctl -u systemd-journald.service -n 1 --no-pager -o verbose预期输出
_BOOT_ID=<BOOT_ID>
_SYSTEMD_UNIT=systemd-journald.service
_PID=<PID>
_COMM=systemd-journal
PRIORITY=6
MESSAGE=<MESSAGE>输出字段说明
| 字段 | 读取方法 |
|---|---|
| 时间戳 | 事件写入 journal 的时间;跨时区排障时配合 --utc |
_SYSTEMD_UNIT |
journald 归属的 systemd 单元,是 -u 过滤的核心字段 |
_BOOT_ID |
本次系统启动的唯一标识,用于区分不同启动周期 |
_PID、_UID、_COMM |
产生日志的进程、用户和短进程名 |
PRIORITY |
0 到 7,数值越小越严重;4 为 warning,3 为 err |
MESSAGE |
应用或 systemd 写入的正文,是定位错误原因的主要内容 |
风险与边界
日志可能包含令牌、请求参数、文件路径和用户数据。复制到工单或群聊前应脱敏;更安全的做法是只导出必要时间段和字段,而不是整段 journal。
-f 会持续占用终端,高流量服务还可能产生大量输出。先用 -n、--since、-p 缩小范围,自动化脚本中用 timeout 设置停止时间,避免长期阻塞或磁盘重定向失控。
journal 受保留策略、磁盘上限和速率限制影响,历史日志不保证永久存在。需要审计留存时应配置持久化 journal 或集中日志平台,而不是把单机 journalctl 当作长期归档。
排障清单
- 显示
-- No entries --:先用systemctl status <UNIT>核对完整名称,再检查是否是模板实例、用户服务或服务已改名。 - 权限不足:使用
sudo,或由管理员按最小权限原则授予 journal 读取权限;不要随意扩大日志组成员范围。 - 重启前日志消失:执行
journalctl --list-boots检查可用启动批次,并核对/etc/systemd/journald.conf的Storage=与持久化目录。 - 服务有故障但 journal 无应用正文:确认程序是否把日志写到独立文件、容器日志驱动或远端平台,并检查单元的
StandardOutput=、StandardError=。 - 时间范围查错:确认系统时钟和时区,必要时加
--utc,并用明确的--since、--until边界重新查询。 - 日志被截断或丢弃:检查
journalctl --disk-usage、journald 速率限制和磁盘空间,再结合应用侧日志采样策略判断。
兼容性
journalctl 依赖 systemd-journald;未运行 journald 的精简容器、非 systemd 系统或只保留文件日志的环境不能直接使用。常见的 -u、-n、-b、--since、-p 和 -o verbose 在主流 systemd 版本中均可用;旧版本若不支持某个输出格式,可退回默认 short。
持续观察服务的新日志,并控制显示行数和输出格式。
实时跟踪服务日志
用于服务启动失败、请求报错或性能抖动时持续观察新日志。核心命令是 journalctl -u ... -f;先限制单元和初始行数,再选择便于人工阅读或程序处理的输出格式,按 Ctrl+C 停止跟踪。
基本语法
sudo journalctl -u <SERVICE>.service -f -n <LINES> -o <FORMAT> --no-pager-u 只匹配指定 systemd 单元,-f 在打印最近记录后持续等待新日志,-n 控制开始跟踪前显示的最近行数,-o 决定每条记录的格式。语法中的尖括号是待替换值,不能原样执行。
主示例
下面跟踪 systemd-journald.service,先显示最近 5 条,再持续输出新增记录。该服务在采用 systemd 的主机上通常存在,可直接用于验证命令行为。
sudo journalctl -u systemd-journald.service -f -n 5 -o short-iso --no-pager预期输出
<TIME> <HOST> systemd-journald[<PID>]: <MESSAGE>
<TIME> <HOST> systemd-journald[<PID>]: <MESSAGE><TIME>、<HOST>、<PID> 和消息内容由当前主机决定。每行从左到右依次是时间、主机、进程标识与正文;命令不会自行结束,观察完成后按 Ctrl+C。
常用参数
-n 100:开始跟踪前补看最近 100 条;使用-n 0可只看命令启动后的新日志。-o short-iso:单行 ISO 时间,适合人工排障和跨主机比对。-o cat:只输出MESSAGE,适合临时管道处理,但会丢失时间、主机和进程信息。-o json:每条日志输出为一行 JSON,适合交给jq或采集脚本解析。--no-hostname:在单机排障时隐藏主机名;汇总多机日志时不要使用。
常见组合如下,替换单元名后使用:
# 先补看 100 行,再持续跟踪
sudo journalctl -u app.service -f -n 100 -o short-iso --no-pager
# 只看启动命令后的新消息,并仅保留正文
sudo journalctl -u app.service -f -n 0 -o cat --no-pager预期结果:第一条先显示最多 100 条历史记录并继续追加;第二条不回放历史记录,只打印后续 MESSAGE 内容。实际是否出现新行取决于服务是否继续写日志。
风险与边界
高流量服务触发大量日志时,终端可能被快速刷屏,并增加本机输出和远程会话带宽消耗。安全做法是先用 -u、-n、时间或优先级缩小范围,必要时短时观察,不要直接跟踪全系统日志。
使用 -o cat 会移除定位故障所需的时间和进程元数据。初次排障优先保留 short-iso;确认只需要消息正文后再切换。普通用户若无权读取系统日志,应使用 sudo 或按发行版规范加入日志读取组,不要修改 journal 文件权限。
排障清单
- 没有输出:先运行
systemctl status <SERVICE>.service核对完整单元名,再去掉-f查看是否存在历史记录。 - 只能看到部分日志:应用可能写入独立文件、容器日志或远端采集端,检查服务的
StandardOutput、启动参数和部署方式。 - 管道处理延迟:后续命令可能采用块缓冲;需要实时匹配时,为支持该选项的工具启用行缓冲。
- 日志很快消失:检查 journald 的持久化、容量和轮转策略;实时跟踪不能恢复已被清理的记录。
速查:人工排障优先使用 -u 服务 -f -n 50 -o short-iso,只看新增日志时把行数改为 -n 0。
按时间范围、启动批次和日志优先级缩小排查范围。
按时间和级别过滤日志
用于故障时间已知、主机经历过重启,或日志量过大时快速缩小范围。时间、启动批次、单元和优先级条件会共同生效;应从事故窗口开始筛选,再逐步增加条件,避免一次过滤过严。
基本语法
sudo journalctl -u <SERVICE>.service -b <BOOT> --since "<START>" --until "<END>" -p <LEVEL_OR_RANGE> -o short-iso --no-pager--since 包含起始时刻之后的记录,--until 包含结束时刻之前的记录。时间可写成 2026-08-05 18:00:00、today 或 5 minutes ago 等形式,包含空格时必须加引号。
-b 0 表示当前启动,-b -1 表示上一次启动;先用 journalctl --list-boots 查看可用批次。-p warning 会匹配 warning 以及更严重的级别,不是只匹配 warning;只取单一级别时使用 -p warning..warning。
可复制验证
下面先写入一条 warning 测试日志,再用当前启动、最近 5 分钟和精确 warning 级别把它筛出。生产排障时将 -t anystack-filter-demo 换成 -u 实际服务.service。
TOKEN="anystack-filter-demo-$(date +%s)"
sudo systemd-cat -t anystack-filter-demo -p warning echo "$TOKEN"
sleep 1
sudo journalctl -b 0 -t anystack-filter-demo --since "5 minutes ago" --until "now" -p warning..warning -o short-iso --no-pager | tail -n 1预期输出
<TIME> <HOST> anystack-filter-demo[<PID>]: anystack-filter-demo-<ID><ID> 是命令生成的时间戳,其他占位值由主机决定。若这一行出现,说明启动批次、时间范围、标识符和优先级过滤同时命中。
高频用法
查看当前启动中某服务最近 30 分钟的 warning 及以上日志:
sudo journalctl -u app.service -b 0 --since "30 minutes ago" -p warning -o short-iso --no-pager预期结果
<TIME> <HOST> app[<PID>]: <WARNING_OR_MORE_SEVERE_MESSAGE>查看上一次启动中指定事故窗口的全部级别日志:
sudo journalctl -u app.service -b -1 --since "2026-08-05 01:10:00" --until "2026-08-05 01:25:00" -o short-full --no-pager预期结果:只显示上一次启动且时间落在该闭合窗口内的 app.service 记录;若 journal 中没有该启动批次或该时段无匹配项,会显示无记录。示例日期应替换为实际事故时间。
优先级速查
| 名称 | 数值 | 含义 |
|---|---|---|
emerg |
0 | 系统不可用 |
alert |
1 | 必须立即处理 |
crit |
2 | 严重错误 |
err |
3 | 错误 |
warning |
4 | 警告 |
notice |
5 | 需关注的正常事件 |
info |
6 | 一般信息 |
debug |
7 | 调试信息 |
单值表示“该级别及更严重级别”。例如 -p err 匹配 0 到 3;范围包含两端,例如 -p warning..info 匹配 4、5、6。
风险与边界
主机时区不一致、事故期间校时或跨夏令时边界时,墙上时间可能造成误判。跨主机比对可增加 --utc,或使用 -o short-full 明确年份、时区,再统一事故窗口。
旧启动日志只有在 journal 尚未轮转且已保存时才能查询。journalctl --list-boots 不显示目标批次,通常表示日志未持久化或已经清理;安全替代方案是在事故前评估磁盘容量并配置持久化,而不是事后尝试从已删除的 journal 恢复。
多个过滤条件按交集匹配,条件过多会产生空结果。遇到无记录时,依次移除优先级、时间、启动批次和单元条件,找出是哪一层排除了日志,不要直接认定服务没有报错。
排障清单
- 时间范围为空:确认主机当前时间、时区及引号是否正确,先仅保留
--since扩大窗口。 - 上一次启动无日志:运行
journalctl --list-boots,确认是否存在-1。 - 级别过滤漏日志:应用可能把错误写成
info,暂时去掉-p检查实际PRIORITY。 - 短格式看不到优先级字段:改用
-o verbose或-o json检查结构化字段。 - 普通用户权限不足:使用
sudo或发行版规定的日志读取组,不要放宽日志文件权限。
速查:先用 --since 和 --until 锁定事故窗口,再加 -b 与 -p;无结果时按相反顺序逐项放宽。
检查当前或历史启动过程中的服务与系统日志。
查看本次启动日志
用 journalctl 按启动批次读取日志,适合确认本次开机后服务为何启动失败、何时被停止,以及问题是否在上一次重启前已经出现。先用 -b 固定启动范围,再叠加单元、优先级和时间过滤,避免在全量日志中误判。
基本语法
-b 表示当前启动,-b -1 表示上一次启动,-b <BOOT_ID> 可指定启动 ID。-u 只看某个单元,-p 按日志优先级过滤,--since 与 --until 限定时间,--no-pager 便于脚本采集。
高频用法
查看本次启动末尾日志
sudo journalctl -b -n 30 --no-pager预期输出
-- Boot <BOOT_ID> --
<TIME> <HOST> systemd[1]: Started <UNIT_DESCRIPTION>.
<TIME> <HOST> <PROCESS>[<PID>]: <MESSAGE>从左到右依次是时间、主机、进程或单元及消息。实际启动 ID、时间、主机名和 PID 会不同;优先关注 failed、timeout、dependency、permission denied 等错误附近的上下文。
只看本次启动中的指定服务
sudo journalctl -b -u systemd-journald.service -n 30 --no-pager预期输出
<TIME> <HOST> systemd-journald[<PID>]: <MESSAGE>
<TIME> <HOST> systemd-journald[<PID>]: <MESSAGE>把 systemd-journald.service 换成目标单元。若服务由 socket、timer 或 mount 触发,还要同时检查关联单元,否则可能只看到结果,看不到触发源。
查找并读取历史启动
sudo journalctl --list-boots --no-pager
sudo journalctl -b -1 -n 30 --no-pager预期输出
-1 <BOOT_ID> <START_TIME>—<END_TIME>
0 <BOOT_ID> <START_TIME>—<CURRENT_TIME>
-- Boot <BOOT_ID> --
<TIME> <HOST> systemd[1]: <MESSAGE>启动序号会随新启动变化;需要稳定定位时,从 --list-boots 复制完整启动 ID,再使用 journalctl -b <BOOT_ID>。
关键过滤
-p warning..alert 只看警告及以上级别;--since "<TIME>" 可从故障发生前几分钟开始;-o short-iso-precise 适合跨节点对时;-g '<REGEX>' 可按消息正则筛选,但旧版 systemd 可能不支持。
风险与边界
未持久化日志时,重启后历史记录可能消失。先检查 /etc/systemd/journald.conf 的 Storage 设置和 /var/log/journal 是否存在;生产环境启用持久化前应评估磁盘配额,并设置 SystemMaxUse 等上限。
持续跟踪使用 journalctl -f 会一直占用终端,高日志量下也可能产生明显输出压力。排障采集优先限定 -u、时间和行数;不要把 --vacuum-* 清理命令混入取证流程,以免删除仍需分析的日志。
排障清单
先确认目标启动批次,再检查目标单元及其触发单元;对照故障时间前后的首个错误,而不是只看最后一行;若日志为空,检查权限、日志存储方式、日志轮转和服务是否把输出写到独立文件。
快速列出进入 failed 状态的单元并逐个确认原因。
查找失败服务
用 systemctl --failed 快速筛出进入 failed 状态的服务,再读取每个单元的失败结果与本次启动日志。该方法适合开机巡检、发布后验证和告警排查,但列表只说明“失败过”,不能直接替代根因分析。
快速列出失败服务
systemctl --failed --type=service --no-legend --no-pager --plain预期输出
<UNIT>.service loaded failed failed <DESCRIPTION>无输出表示当前没有处于 failed 状态的服务。各列依次为单元名、加载状态、活动状态、子状态和描述;去掉 --type=service 可同时查看 mount、socket、timer 等其他失败单元。
逐个确认原因
mapfile -t units < <(
systemctl --failed --type=service --no-legend --no-pager --plain |
awk '{print $1}'
)
if ((${#units[@]} == 0)); then
echo "No failed services."
exit 0
fi
for unit in "${units[@]}"; do
printf '\n===== %s =====\n' "$unit"
# show 提取机器可读结果;journalctl 补充本次启动中的失败上下文。
systemctl show "$unit" -p ActiveState -p SubState -p Result -p ExecMainStatus
journalctl -b -u "$unit" -n 30 --no-pager
done预期输出
===== <UNIT>.service =====
ActiveState=failed
SubState=failed
Result=exit-code
ExecMainStatus=<EXIT_CODE>
-- Boot <BOOT_ID> --
<TIME> <HOST> <PROCESS>[<PID>]: <ERROR_MESSAGE>Result 表示 systemd 判定的失败类型,例如 exit-code、timeout 或 signal;ExecMainStatus 是主进程退出状态。首先定位日志中的首个明确错误,再回看其前置配置、依赖或权限信息。
常用确认命令
systemctl is-failed <UNIT> 适合脚本判断,失败时通常输出 failed 并返回非零状态。systemctl status <UNIT> --no-pager -l 适合人工查看最近日志、主进程和退出码;更完整的本次启动日志仍以 journalctl -b -u <UNIT> 为准。
风险与边界
失败状态可能在故障已经消失后仍被保留,因此列表中可能存在历史残留。systemctl reset-failed <UNIT> 只清除失败标记和启动限速计数,不会修复配置;过早执行会丢失巡检信号,并可能让持续崩溃的服务再次进入重启循环。
直接 restart 可能中断流量、触发依赖级联或重复执行非幂等任务。安全做法是先保存状态与日志,确认配置、磁盘、权限、端口和依赖,再按服务的高可用或排空流程恢复。
排障清单
确认单元文件是否成功加载;检查 Result、退出码和首个错误;验证依赖单元、环境文件、凭据、路径权限、端口占用及磁盘空间;修复后再启动并用 systemctl is-active <UNIT> 验证。若服务反复触发启动限速,同时检查 StartLimit* 与 Restart= 配置,而不是只清除状态。
定位启动路径错误、参数错误、文件不存在和不可执行问题。
排查 systemd 启动命令失败
当服务启动后立即进入 failed,日志出现 203/EXEC、No such file or directory、Permission denied 或参数解析异常时,先确认 systemd 实际执行的 ExecStart,再依次检查可执行文件、解释器、参数和工作目录。不要只在交互式 Shell 中试命令,因为 systemd 不会自动加载用户的 Shell 配置。
读取实际启动命令
先查看单元来源、运行身份、工作目录和解析后的启动命令。将 SERVICE 改成目标服务名。
SERVICE=example.service
systemctl show "$SERVICE" \
-p FragmentPath \
-p User \
-p Group \
-p WorkingDirectory \
-p EnvironmentFiles \
-p ExecStart \
--no-pager
systemctl cat "$SERVICE"预期输出
FragmentPath=/etc/systemd/system/example.service
User=example
Group=example
WorkingDirectory=/srv/example
EnvironmentFiles={ path=/etc/example/example.env ; ignore_errors=no ; ... }
ExecStart={ path=/usr/local/bin/example-server ; argv[]=/usr/local/bin/example-server --config /etc/example/config.yaml ; ... }
# /etc/systemd/system/example.service
[Service]
ExecStart=/usr/local/bin/example-server --config /etc/example/config.yaml重点读取 path=、argv[]= 和 WorkingDirectory=。systemctl cat 还会显示覆盖原配置的 drop-in;只看磁盘上的主文件可能遗漏最终生效值。
验证单元语法和日志
systemd-analyze verify 可发现未知指令、无效路径和部分依赖错误;随后读取本次启动的完整日志。
SERVICE=example.service
UNIT_PATH=$(systemctl show "$SERVICE" -p FragmentPath --value)
sudo systemd-analyze verify "$UNIT_PATH"
sudo systemctl restart "$SERVICE"
systemctl status "$SERVICE" --no-pager -l
journalctl -u "$SERVICE" -b -n 80 --no-pager预期输出
● example.service - Example Server
Loaded: loaded (/etc/systemd/system/example.service; enabled)
Active: failed (Result: exit-code)
Process: <PID> ExecStart=/usr/local/bin/example-server --config /etc/example/config.yaml (code=exited, status=203/EXEC)
example.service: Failed at step EXEC spawning /usr/local/bin/example-server: No such file or directory203/EXEC 表示 systemd 在执行程序前失败,通常不是应用自身返回的退出码。若日志显示应用已经输出业务日志并返回 status=2,则更可能是参数、配置文件或应用启动校验失败。
检查路径、执行权限和解释器
即使文件存在,父目录缺少搜索权限、脚本首行解释器不存在、二进制动态加载器缺失,也会表现为“文件不存在”。
BIN=/usr/local/bin/example-server
namei -l "$BIN"
ls -l "$BIN"
file "$BIN"
test -x "$BIN" && echo executable || echo not-executable
head -n 1 "$BIN" 2>/dev/null || true
ldd "$BIN" 2>/dev/null || true预期输出
f: /usr/local/bin/example-server
drwxr-xr-x root root /
drwxr-xr-x root root usr
drwxr-xr-x root root local
drwxr-xr-x root root bin
-rwxr-xr-x root root example-server
/usr/local/bin/example-server: ELF 64-bit LSB pie executable, x86-64, dynamically linked
executable脚本应检查首行是否为有效 shebang,例如 #!/usr/bin/env python3;ELF 程序若 ldd 出现 not found,应补齐运行库或使用包含依赖的发布包。不要用 chmod 777 掩盖问题,应只给目标用户所需的读取和执行权限。
复现参数错误
systemd 的 ExecStart= 不是交互式 Shell:管道、重定向、通配符、&& 和 Shell 内建不会自动生效。优先把参数逐项写入 ExecStart=;确实需要 Shell 语法时,使用受控脚本,而不是把复杂命令塞进 /bin/sh -c。
SERVICE=example.service
RUN_USER=$(systemctl show "$SERVICE" -p User --value)
[ -n "$RUN_USER" ] || RUN_USER=root
sudo -u "$RUN_USER" -- \
/usr/local/bin/example-server \
--config /etc/example/config.yaml \
--check预期输出
configuration OK若同一命令在目标用户下失败,按输出修正参数、配置路径或环境变量。若命令依赖 PATH、虚拟环境或用户 profile,应在单元中使用绝对路径,并通过 Environment= 或 EnvironmentFile= 明确传入,不能依赖 .bashrc。
风险与边界
直接执行 systemctl restart 会中断现有连接;生产环境应先用 systemd-analyze verify、应用自身的 --check 或等价校验,再在维护窗口重启。ExecStart=/bin/sh -c '...' 会引入转义、变量展开和命令注入风险;安全替代是固定参数、专用包装脚本和最小权限运行用户。
速查顺序:show/cat 确认最终命令,status/journalctl 识别失败阶段,namei/file/ldd 检查可执行链,最后以服务用户复现参数。
检查运行用户、文件权限、工作目录和运行时目录导致的启动失败。
排查 systemd 权限与目录问题
当服务日志出现 Permission denied、CHDIR、无法创建 PID、Socket、缓存或临时文件时,应同时检查运行用户、父目录遍历权限、WorkingDirectory、systemd 自动管理目录以及沙箱限制。仅检查目标文件的读写位不够,路径上的每一级目录都必须允许服务用户进入。
确认运行身份和目录配置
先读取最终生效的用户、组、工作目录、运行时目录和文件系统保护项。将 SERVICE 改为目标服务名。
SERVICE=example.service
systemctl show "$SERVICE" \
-p User \
-p Group \
-p SupplementaryGroups \
-p DynamicUser \
-p WorkingDirectory \
-p RuntimeDirectory \
-p StateDirectory \
-p CacheDirectory \
-p LogsDirectory \
-p UMask \
-p PrivateTmp \
-p ProtectSystem \
-p ProtectHome \
-p ReadWritePaths \
--no-pager预期输出
User=example
Group=example
SupplementaryGroups=
DynamicUser=no
WorkingDirectory=/srv/example
RuntimeDirectory=example
StateDirectory=example
CacheDirectory=example
LogsDirectory=
UMask=0027
PrivateTmp=yes
ProtectSystem=full
ProtectHome=yes
ReadWritePaths=/srv/example/uploadsUser= 为空通常表示以 root 运行;DynamicUser=yes 时账号是临时创建的,不应依赖固定 UID。ProtectSystem=、ProtectHome= 和 ReadWritePaths= 会改变服务可见或可写的路径,即使传统权限位看起来正确也可能仍被拒绝。
检查路径逐级权限
使用 namei -l 查看从根目录到目标文件的每一级权限,再以服务用户执行精确的读、写、进入测试。
SERVICE=example.service
RUN_USER=$(systemctl show "$SERVICE" -p User --value)
[ -n "$RUN_USER" ] || RUN_USER=root
WORKDIR=$(systemctl show "$SERVICE" -p WorkingDirectory --value)
[ -n "$WORKDIR" ] || WORKDIR=/
namei -l "$WORKDIR"
sudo -u "$RUN_USER" -- test -x "$WORKDIR" && echo "can-enter" || echo "cannot-enter"
sudo -u "$RUN_USER" -- test -r /etc/example/config.yaml && echo "config-readable" || echo "config-unreadable"
sudo -u "$RUN_USER" -- test -w /srv/example/uploads && echo "upload-writable" || echo "upload-not-writable"预期输出
f: /srv/example
drwxr-xr-x root root /
drwxr-xr-x root root srv
drwxr-x--- example example example
can-enter
config-readable
upload-writable目录需要 x 权限才能进入,创建文件通常同时需要目录的 w 和 x 权限。若使用 ACL,还要执行 getfacl <PATH>;若用户通过补充组获得权限,确认 SupplementaryGroups= 或系统组成员关系已经在服务重启后生效。
使用 systemd 管理可写目录
不要让应用在 /run 下自行创建根目录,也不要把状态文件散落到程序目录。可通过 RuntimeDirectory=、StateDirectory=、CacheDirectory= 和对应 Mode 指令让 systemd 创建目录并设置属主。
sudo install -d -m 0755 /etc/systemd/system/example.service.d
sudo tee /etc/systemd/system/example.service.d/directories.conf >/dev/null <<'EOF'
[Service]
User=example
Group=example
WorkingDirectory=/srv/example
RuntimeDirectory=example
RuntimeDirectoryMode=0750
StateDirectory=example
StateDirectoryMode=0750
CacheDirectory=example
CacheDirectoryMode=0750
EOF
sudo systemctl daemon-reload
sudo systemctl restart example.service
systemctl show example.service \
-p RuntimeDirectory \
-p StateDirectory \
-p CacheDirectory \
--no-pager
ls -ld /run/example /var/lib/example /var/cache/example预期输出
RuntimeDirectory=example
StateDirectory=example
CacheDirectory=example
drwxr-x--- example example /run/example
drwxr-x--- example example /var/lib/example
drwxr-x--- example example /var/cache/exampleRuntimeDirectory= 对应 /run/<name>,通常在服务停止后清理;持久数据应放在 StateDirectory= 对应的 /var/lib/<name>。修改前确认服务确实使用这些路径,否则目录创建成功也不会自动改变应用配置。
排查沙箱和安全模块
传统权限无异常时,检查 systemd 沙箱、SELinux 或 AppArmor。先查看服务日志和单元安全设置,不要直接关闭全部保护项。
SERVICE=example.service
journalctl -u "$SERVICE" -b -n 80 --no-pager
systemctl show "$SERVICE" \
-p ProtectSystem \
-p ProtectHome \
-p PrivateTmp \
-p ReadOnlyPaths \
-p InaccessiblePaths \
-p ReadWritePaths \
--no-pager
command -v getenforce >/dev/null && getenforce
command -v aa-status >/dev/null && sudo aa-status --enabled预期输出
example.service: Failed at step CHDIR spawning /usr/local/bin/example-server: Permission denied
ProtectSystem=strict
ProtectHome=yes
PrivateTmp=yes
ReadOnlyPaths=
InaccessiblePaths=
ReadWritePaths=/srv/example/uploads
EnforcingCHDIR 指向 WorkingDirectory 不存在或不可进入;Read-only file system 更常见于沙箱限制。安全替代是仅为必要路径添加 ReadWritePaths=,或修正 SELinux/AppArmor 策略。直接设置 ProtectSystem=false、关闭 SELinux 或执行 chmod -R 777 会扩大攻击面,并可能掩盖真实目录设计错误。
排障清单
按顺序确认:服务用户和补充组正确;所有父目录可遍历;配置文件可读、数据目录可写;工作目录存在;运行时与持久目录类型匹配;沙箱允许目标写路径;安全模块日志没有拒绝记录。权限调整后必须重启服务,并再次用 systemctl status 和实际文件创建结果验证。
处理服务在终端可运行但由 systemd 启动时找不到命令或配置的问题。
排查环境变量缺失
服务在终端能运行、由 systemd 启动却提示“找不到命令”“配置不存在”或读取到错误环境时,先比较单元实际获得的用户、启动命令和环境文件。修复目标是把运行依赖显式写入单元,并用绝对路径启动程序,而不是依赖登录 Shell。
命令定位
先查看最终合并后的单元配置。systemctl cat 会显示主单元与所有 drop-in,systemctl show 用于确认 systemd 当前加载的属性。
SERVICE=myapp.service
systemctl cat "$SERVICE"
systemctl show "$SERVICE" \
-p User -p Group -p ExecStart -p Environment -p EnvironmentFiles \
-p WorkingDirectory -p FragmentPath --no-pager预期输出中的路径和用户以实际主机为准:
User=myapp
Group=myapp
Environment=APP_ENV=production
EnvironmentFiles=/etc/myapp/myapp.env (ignore_errors=no)
WorkingDirectory=/var/lib/myapp
FragmentPath=/etc/systemd/system/myapp.service重点核对 User 是否与手工测试用户一致、ExecStart 是否使用绝对路径、EnvironmentFiles 是否指向存在且可读的文件。终端中的 ~/.profile、~/.bashrc、版本管理器初始化和临时 export 默认不会被系统服务继承。
修复配置
使用 drop-in 增加环境,不直接修改发行版提供的 /usr/lib/systemd/system 或 /lib/systemd/system 文件。
sudo install -d -m 0750 -o root -g myapp /etc/myapp
sudo tee /etc/myapp/myapp.env >/dev/null <<'EOF'
APP_CONFIG=/etc/myapp/config.yaml
PATH=/opt/myapp/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin
EOF
sudo chown root:myapp /etc/myapp/myapp.env
sudo chmod 0640 /etc/myapp/myapp.env
sudo systemctl edit myapp.service预期结果:编辑器打开后写入以下 drop-in;环境文件不存在或服务用户无权读取时,启动会失败。
[Service]
Environment="APP_ENV=production"
EnvironmentFile=/etc/myapp/myapp.env
WorkingDirectory=/var/lib/myapp保存后重新加载并启动:
sudo systemctl daemon-reload
sudo systemctl restart myapp.service
systemctl is-active myapp.service预期输出:
active程序路径仍应在原单元的 ExecStart 中写成 /opt/myapp/bin/server 这类绝对路径。不要把 source ~/.bashrc、管道、重定向或 $(...) 直接写进 ExecStart;systemd 不会按交互式 Shell 方式解释这些语法。
验证环境
在独立的临时单元中按相同用户加载环境文件,可验证文件语法与读取权限,同时避免修改正式服务。
sudo systemd-run --quiet --wait --pipe \
-p User=myapp \
-p EnvironmentFile=/etc/myapp/myapp.env \
/usr/bin/env | grep -E '^(APP_CONFIG|PATH)='预期输出:
APP_CONFIG=/etc/myapp/config.yaml
PATH=/opt/myapp/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin若这里正确而正式服务仍失败,继续检查程序是否还依赖 HOME、相对路径、当前目录、代理变量或动态库路径。优先通过 WorkingDirectory、绝对配置路径和标准安装路径修复,不要盲目复制整个登录环境。
风险与边界
把令牌、密码或私钥写入 Environment= 或普通环境文件,可能被进程检查、调试工具或服务管理接口暴露。优先使用 systemd credentials、专用密钥文件或应用自身的秘密管理机制;旧版 systemd 至少应使用 root 所有、最小权限的文件并限制服务账号读取。
把交互式 Shell 的完整 PATH、LD_LIBRARY_PATH 或代理变量原样搬入服务,可能加载非预期二进制或动态库。安全替代方案是固定可执行文件绝对路径,只声明应用确实需要的变量,并在变更后重新检查单元与日志。
排障清单
查看最近一次失败原因:
journalctl -u myapp.service -b -n 80 --no-pager
systemctl status myapp.service --no-pager预期结果:命令会显示本次启动日志和当前状态。重点查找以下类型的信息,实际路径、时间与状态值可能不同:
<TIME> <HOST> systemd[1]: myapp.service: Failed to execute <PATH>: No such file or directory
<TIME> <HOST> systemd[1]: myapp.service: Main process exited, code=exited, status=203/EXEC若出现 status=203/EXEC,还要检查可执行文件路径、权限、Shebang、挂载点 noexec 和二进制架构,不能只归因于环境变量。
确认端口占用、残留进程和重复实例导致的服务启动失败。
排查端口与进程冲突
服务启动时报 Address already in use、EADDRINUSE 或反复重启时,先确定监听端口对应的 PID、进程所属用户和 systemd 单元,再决定停止旧实例、调整配置还是处理 socket 激活。不要看到占用就直接强杀进程。
快速定位
以下命令同时检查 TCP 端口、目标服务状态和同名进程。把 8080、myapp.service 与程序路径替换为实际值。
PORT=8080
SERVICE=myapp.service
sudo ss -H -ltnp "sport = :$PORT"
systemctl show "$SERVICE" -p MainPID -p ActiveState -p SubState --no-pager
pgrep -af '/opt/myapp/bin/server'典型输出:
LISTEN 0 4096 0.0.0.0:8080 0.0.0.0:* users:(("server",pid=<PID>,fd=7))
MainPID=0
ActiveState=failed
SubState=failed
<PID> /opt/myapp/bin/server --config /etc/myapp/config.yaml第一行表示 <PID> 已监听 TCP 8080;MainPID=0 且服务为 failed,说明占用者不是当前单元正在管理的主进程,常见原因是手工启动的残留实例、另一个单元或容器进程。UDP 服务改用 ss -H -lunp。
确认进程归属
不要仅凭进程名判断。检查启动用户、父进程、完整命令和 cgroup,再让 systemd 根据 PID 反查所属单元。
PID=<PID>
ps -o pid,ppid,user,lstart,args -p "$PID"
cat "/proc/$PID/cgroup"
systemctl status "$PID" --no-pager预期结果中的时间、路径和单元名会因主机而不同:
PID PPID USER STARTED COMMAND
<PID> 1 myapp <TIME> /opt/myapp/bin/server --config /etc/myapp/config.yaml
0::/system.slice/legacy-myapp.service
● legacy-myapp.service - Legacy MyApp若 PID 属于另一个 .service,应停止或重配该单元;若 cgroup 显示容器范围,进入对应网络命名空间或容器编排平台处理;只有确认它是无人管理的残留进程后,才按进程方式终止。
高频处理
由其他 systemd 单元占用时,先停止正确的所有者并复查端口:
sudo systemctl stop legacy-myapp.service
sudo ss -H -ltnp "sport = :8080"
sudo systemctl restart myapp.service
systemctl is-active myapp.service预期结果:第二条命令无输出,最后一条返回:
active若是确认无主的残留进程,先发送可清理资源的 TERM,等待后重新核对;不自动执行 KILL,避免 PID 已被复用时误伤无关进程。
PID=<PID>
sudo kill -TERM "$PID"
sleep 5
ps -o pid,ppid,user,lstart,args -p "$PID"
sudo ss -H -ltnp "sport = :8080"预期结果:进程正常退出时 ps 和 ss 均无输出。若仍在运行,重新检查命令行、启动时间和 cgroup;只有归属未变化且确认无法优雅退出时,才执行 sudo kill -KILL <PID>。
socket 与重复实例
.socket 单元可以先于服务占用端口;此时只停止 .service,监听仍会存在。检查监听套接字与模板实例:
systemctl list-sockets --all --no-pager | grep -E '8080|myapp'
systemctl list-units --type=service --all --no-pager | grep -E 'myapp(@|\.)'预期输出可能类似:
0.0.0.0:8080 myapp.socket myapp.service
myapp@blue.service loaded active running MyApp instance blue
myapp@green.service loaded active running MyApp instance green确认设计后再停止 myapp.socket 或多余实例。若应用有意使用 SO_REUSEPORT,同一端口出现多个监听者可能是正常负载分担,不能按普通冲突处理。
风险与边界
直接执行 kill -9 会绕过优雅关闭,可能造成未刷盘数据、锁文件、临时文件或连接状态残留。安全替代是优先 systemctl stop,无主进程先 TERM,重新确认归属和状态后才考虑 KILL。
临时改端口虽然能启动服务,但可能同时破坏防火墙、反向代理、健康检查、服务发现和客户端配置。除非端口变更已同步到整条调用链,否则应先消除重复实例或明确端口所有权。
排障清单
结合日志确认冲突发生在监听阶段,并检查服务是否因重启策略形成竞争:
journalctl -u myapp.service -b -n 100 --no-pager
systemctl show myapp.service \
-p Restart -p RestartUSec -p NRestarts -p ExecStart --no-pager预期结果:日志中应出现具体监听地址和端口;属性输出类似:
Restart=on-failure
RestartUSec=5s
NRestarts=7
ExecStart={ path=/opt/myapp/bin/server ; ... }NRestarts 持续增长说明服务正在重启循环。修复占用后执行 sudo systemctl reset-failed myapp.service,再启动并用 ss、is-active 与应用健康检查共同验证。
定位服务初始化缓慢、通知协议不匹配或超时限制过短的问题。
排查 systemd 服务启动超时
适用于 systemctl start 返回 “a timeout was exceeded”,或服务长时间停在 activating。先确认 systemd 等待的是前置命令、主进程就绪通知、派生进程还是依赖单元,再决定修协议、修阻塞点或调整超时;不要一开始就把超时设为无限。
命令定位
先读取状态属性和本次启动日志。将 example.service 替换为实际单元名;<TIME>、<PID> 等值会随机器变化。
unit=example.service
systemctl show "$unit" \
-p LoadState -p ActiveState -p SubState -p Result \
-p Type -p NotifyAccess -p PIDFile -p TimeoutStartUSec \
-p MainPID -p ControlPID
journalctl -u "$unit" -b --no-pager -o short-monotonic -n 60预期输出:
LoadState=loaded
ActiveState=failed
SubState=failed
Result=timeout
Type=notify
NotifyAccess=main
PIDFile=
TimeoutStartUSec=1min 30s
MainPID=0
ControlPID=0
[<TIME>] <HOST> systemd[1]: example.service: start operation timed out. Terminating.
[<TIME>] <HOST> systemd[1]: example.service: Failed with result 'timeout'.Result=timeout 确认是启动截止时间触发;Type=notify 表示 systemd 还会等待 READY=1。若 ControlPID 非零,通常仍有 ExecStartPre=、ExecStartPost= 或控制进程未结束。
判断卡住阶段
查看合并后的单元文件和仍在执行的作业,重点检查 Type=、ExecStartPre=、ExecStartPost=、PIDFile= 以及依赖关系。
unit=example.service
systemctl cat "$unit"
systemctl list-jobs --no-pager预期输出:
# /etc/systemd/system/example.service
[Unit]
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/local/bin/example
TimeoutStartSec=90s
No jobs running.日志停在前置或后置命令时,单独检查该命令访问的 DNS、挂载点、数据库和凭据,并确保命令自身有超时。进程存在但始终为 activating,且单元是 Type=notify,通常是程序未调用 sd_notify、通知由非授权进程发送,或启动完成后漏发 READY=1。
Type=forking 下若父进程退出、MainPID=0 或 PID 指向错误,应核对 PIDFile= 的路径、创建时机和权限。仍有依赖作业运行时,先处理依赖单元;没有未完成作业而主进程持续初始化,则按日志时间戳检查磁盘、网络、锁竞争和资源不足。
安全修复
协议不匹配时优先修协议。以下为片段示例,只适用于程序前台运行且不实现就绪通知的情况;改成 Type=simple 后,systemd 会在进程成功执行后较早认定服务已启动,因此下游必须能容忍应用尚未真正就绪。
[Service]
Type=simple确认程序最终能够正常启动,只是初始化时间稳定超过现有限制时,再通过 drop-in 延长时间。以下为片段示例,不要直接修改发行版提供的原始单元文件。
[Service]
TimeoutStartSec=120sType=notify 程序应保留该类型并可靠发送 READY=1。确实需要长时间初始化且程序支持进度通知时,可在原截止时间前周期发送 EXTEND_TIMEOUT_USEC=...;这比永久禁用超时更容易发现真正的死锁。
写入 drop-in 后重新加载并验证一次完整启动。
unit=example.service
sudo systemctl daemon-reload
sudo systemctl reset-failed "$unit"
sudo systemctl start "$unit"
systemctl show "$unit" \
-p ActiveState -p SubState -p Result -p TimeoutStartUSec预期输出:
ActiveState=active
SubState=running
Result=success
TimeoutStartUSec=2min风险与边界
把 TimeoutStartSec= 设得过大或设为 infinity,会让死锁、网络永久等待和错误通知长期占用启动事务,拖慢开机、重启和依赖服务。安全替代方案是为外部调用设置独立超时,并按实测的高分位启动耗时留出有限余量。
把 Type=notify 盲改为 simple 会提前宣告服务可用,可能导致依赖服务立即连接并失败;把 Type=forking 改错还会破坏主进程跟踪。生产环境应先在同版本实例验证,并使用 systemctl edit 保存 drop-in,避免软件升级覆盖修改。
排障清单
- 日志中确认最后一个有进展的初始化步骤及其耗时。
- 核对
Type=是否与程序的前台、派生或通知行为一致。 - 检查
ExecStartPre=、ExecStartPost=、PIDFile=和未完成依赖作业。 - 验证 DNS、远端存储、数据库、证书、锁文件及磁盘空间。
- 只在确认服务最终可完成启动后调整
TimeoutStartSec=。 - 修复后同时验证首次启动、重启以及故障恢复路径。
兼容速查:单元文件写 TimeoutStartSec=,而 systemctl show 展示的属性名是 TimeoutStartUSec;用户级服务需把命令改为 systemctl --user 和 journalctl --user-unit。
检查停止命令、信号处理、子进程残留和停止超时配置。
排查 systemd 服务停止卡住
适用于 systemctl stop 长时间不返回、状态停在 deactivating,或日志出现 “stop operation timed out”。排查时先区分 ExecStop= 卡住、主进程不处理信号、子进程残留、包装脚本未转发信号,以及不可中断 I/O,再决定修程序、修单元配置或执行应急终止。
命令定位
读取停止阶段、控制进程、信号策略和截止时间,并结合本次启动日志判断 systemd 已执行到哪一步。
unit=example.service
systemctl show "$unit" \
-p ActiveState -p SubState -p Result -p MainPID -p ControlPID \
-p ExecStop -p KillMode -p KillSignal -p FinalKillSignal \
-p SendSIGKILL -p TimeoutStopUSec
journalctl -u "$unit" -b --no-pager -o short-monotonic -n 60预期输出:
ActiveState=deactivating
SubState=stop-sigterm
Result=success
MainPID=<PID>
ControlPID=0
ExecStop=
KillMode=control-group
KillSignal=15
FinalKillSignal=9
SendSIGKILL=yes
TimeoutStopUSec=1min 30s
[<TIME>] <HOST> systemd[1]: Stopping example.service...SubState=stop 且 ControlPID 非零时,优先检查 ExecStop=;属性值 15 代表 SIGTERM,9 代表 SIGKILL。stop-sigterm 表示 systemd 已发送正常终止信号但进程仍未退出。超时后日志通常会记录终止升级和剩余进程信息。
定位残留进程
查看该单元控制组中的全部进程,再读取主进程状态。STAT=D 表示不可中断 I/O,单纯重复发送信号通常无效,应转查磁盘、NFS、块设备或内核等待点。
unit=example.service
systemd-cgls --unit "$unit" --no-pager
main_pid="$(systemctl show "$unit" -p MainPID --value)"
ps -o pid,ppid,stat,etime,wchan:24,cmd -p "$main_pid"预期输出:
Control group /system.slice/example.service:
├─<PID> /usr/local/bin/example
└─<PID> /usr/local/bin/example-worker
PID PPID STAT ELAPSED WCHAN CMD
<PID> 1 Ssl 01:42 futex_wait_queue_me /usr/local/bin/example主进程仍在而线程等待锁或条件变量,说明信号处理器已触发但关闭流程死锁;主进程退出而工作进程仍在,应检查 KillMode=process、双重派生或子进程逃离控制组。若 ExecStart= 使用 shell 包装器,确保它用 exec 启动真实程序,否则 systemd 可能只跟踪并通知 shell。
修复停止流程
程序应在收到 SIGTERM 后停止接收新请求、结束或转移在途任务、关闭连接、等待子进程并在有限时间内退出。ExecStop= 只用于调用程序已有且可限时完成的关闭接口,不应执行无限轮询,也不要依赖已经被主进程关闭的本地接口。
确认优雅停止实际需要更长时间时,可使用 drop-in 调整。以下为片段示例;KillMode=control-group 让正常停止信号覆盖同一控制组中的主进程和工作进程。
[Service]
TimeoutStopSec=120s
KillMode=control-group在维护窗口重新加载并执行一次启动、停止验证,确认没有残留 PID。
unit=example.service
sudo systemctl daemon-reload
sudo systemctl restart "$unit"
sudo systemctl stop "$unit"
systemctl show "$unit" \
-p ActiveState -p SubState -p Result -p MainPID预期输出:
ActiveState=inactive
SubState=dead
Result=success
MainPID=0如果仍卡住,使用 systemctl status "$unit" -l 对照停止子状态,并为应用线程、连接池或关闭钩子增加限时日志。必要时在测试环境复现并采集线程栈;生产环境先保留日志、进程树和故障现场,再决定是否强制终止。
风险与边界
仅增大 TimeoutStopSec= 会延长重启、发布和关机时间,不能修复死锁。设置 SendSIGKILL=no 可能留下旧进程,并使后续启动因控制组仍有成员而失败;安全替代是让程序正确处理 SIGTERM,保留有限超时和最终清理能力。
KillMode=process 只处理主进程,容易留下工作进程;直接对单个 PID 执行 kill 还可能绕过 systemd 的控制组和状态管理。最后手段 systemctl kill --kill-whom=all --signal=SIGKILL example.service 会跳过清理逻辑,可能造成事务回滚、缓存丢失或文件损坏,只能在确认业务影响、完成取证并有恢复方案后使用。
处于 D 状态的任务即使收到 SIGKILL 也要等内核 I/O 返回后才能退出。此时继续升级信号没有意义,应检查存储链路、挂载、内核日志和设备健康,必要时隔离节点而不是反复重启服务。
排障清单
- 用
SubState和ControlPID判断卡在ExecStop=还是信号等待阶段。 - 查看控制组内全部进程,确认主进程、工作进程和包装脚本关系。
- 检查程序是否捕获
SIGTERM,关闭流程是否有锁、网络或 I/O 无限等待。 - 核对
KillMode=、KillSignal=、SendSIGKILL=和TimeoutStopSec=。 - 修复后验证停止耗时、残留 PID、数据一致性以及再次启动。
- 仅在取证完成且业务允许时执行强制终止。
兼容速查:单元文件写 TimeoutStopSec=,systemctl show 对应属性是 TimeoutStopUSec;较旧环境若不支持 systemd-cgls --unit,可从 systemctl status 的 CGroup 段读取进程树。
识别异常退出、重启策略和启动频率限制形成的重启循环。
排查服务反复重启
用于服务在 activating (auto-restart) 与失败之间循环、日志持续出现 Scheduled restart job 时。目标是先确认谁触发了重启、主进程为何退出,再判断是否需要调整 Restart=、重启间隔和启动频率限制。
快速定位
将 myapp.service 替换为实际单元名。先读取机器可解析的运行属性,再查看本次启动后的日志和最终生效的 unit/drop-in;不要只看 systemctl status 末尾几行。
UNIT=myapp.service
printf '== properties ==\n'
sudo systemctl show "$UNIT" \
-p ActiveState -p SubState -p Result \
-p ExecMainCode -p ExecMainStatus -p NRestarts \
-p Restart -p RestartUSec \
-p StartLimitIntervalUSec -p StartLimitBurst
printf '\n== recent journal ==\n'
sudo journalctl -u "$UNIT" -b --since "-10 min" --no-pager -o short-iso
printf '\n== effective unit ==\n'
sudo systemctl cat "$UNIT"预期输出示例:
== properties ==
ActiveState=activating
SubState=auto-restart
Result=exit-code
ExecMainCode=1
ExecMainStatus=1
NRestarts=17
Restart=on-failure
RestartUSec=5s
StartLimitIntervalUSec=10s
StartLimitBurst=5
== recent journal ==
<TIME> <HOST> systemd[1]: myapp.service: Main process exited, code=exited, status=1/FAILURE
<TIME> <HOST> systemd[1]: myapp.service: Failed with result 'exit-code'.
<TIME> <HOST> systemd[1]: myapp.service: Scheduled restart job, restart counter is at 17.
== effective unit ==
# /etc/systemd/system/myapp.service
[Unit]
StartLimitIntervalSec=10s
StartLimitBurst=5
[Service]
ExecStart=/usr/local/bin/myapp
Restart=on-failure
RestartSec=5s<TIME>、<HOST>、路径和计数会随环境变化。SubState=auto-restart 表示 systemd 正等待下一次自动拉起;日志中的第一条退出记录通常比后续重复的启动、停止记录更接近根因。
关键字段
| 字段 | 读取方法 |
|---|---|
Result |
最近一次服务结果;常见为 exit-code、signal、timeout、watchdog 或 start-limit-hit。 |
ExecMainCode / ExecMainStatus |
主进程的退出类别与退出码或信号编号,应结合应用日志解释。 |
NRestarts |
systemd 依据 Restart= 执行的自动重启次数,不等于人工启动次数。 |
Restart / RestartUSec |
当前重启策略与等待时间;间隔过短会放大日志、CPU 和依赖压力。 |
StartLimitIntervalUSec / StartLimitBurst |
运行时展示的启动限速窗口与允许次数;对应 unit 文件中的 StartLimitIntervalSec= 和 StartLimitBurst=。 |
处理顺序
若循环正在消耗 CPU、刷爆日志或冲击数据库,先执行 sudo systemctl stop myapp.service 止损;显式停止通常不会被 Restart= 再次拉起。随后从最早的 Main process exited、Failed with result 或应用报错向前排查配置、权限、端口、凭据、依赖和资源限制。
修复根因后再决定是否调策略。通常优先使用 Restart=on-failure,并给外部依赖留出恢复时间;需要修改时通过 systemctl edit 建立 drop-in,而不是直接改发行版提供的 unit 文件。
[Unit]
StartLimitIntervalSec=60s
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=10s保存后执行 sudo systemctl daemon-reload && sudo systemctl restart myapp.service,再用前述属性和日志确认 ActiveState=active、SubState=running,且 NRestarts 不再持续增长。
风险与边界
触发条件是程序持续异常退出,同时配置了自动重启。若使用 Restart=always、极短的 RestartSec=,或把 StartLimitIntervalSec=0 关闭限速,可能形成无界重启循环,造成日志洪泛、CPU 抖动、端口未释放以及下游依赖被反复连接。更安全的替代是保留有限启动次数、设置非零等待、对失败率告警,并先修应用根因。
不要在取证前立即执行 reset-failed:它会清除失败状态、启动限速计数和服务重启计数。应先保存 systemctl show 与 journalctl 输出;需要恢复启动时再针对单个 unit 清除状态,避免无参数操作影响其他失败单元。
排障清单
Result=exit-code:查应用退出码和标准错误,确认启动参数、配置与权限。Result=signal或oom-kill:查journalctl -k、内存限制和核心转储。Result=timeout或watchdog:核对启动耗时、健康通知和阻塞依赖。- 日志没有自动重启记录但仍反复启动:检查定时器、socket、监控脚本、编排系统或其他进程是否在调用
systemctl restart。 - 达到
start-limit-hit:先修根因,再按“恢复启动频率限制”条目执行定向恢复。
清除失败状态并处理启动过快触发的 start-limit 限制。
恢复启动频率限制
用于 systemctl start 返回“start request repeated too quickly”,或属性显示 Result=start-limit-hit 的场景。正确顺序是保留故障证据、修复快速失败原因、清除指定 unit 的计数,再重新启动并验证,而不是连续重复执行 start。
确认限制已触发
下面的命令先读取限制状态和最近日志,随后在“根因已经修复”的前提下清除计数、启动服务并验证结果。将 myapp.service 替换为实际单元名。
UNIT=myapp.service
printf '== before recovery ==\n'
sudo systemctl show "$UNIT" \
-p ActiveState -p SubState -p Result -p NRestarts \
-p StartLimitIntervalUSec -p StartLimitBurst
sudo journalctl -u "$UNIT" -b -n 20 --no-pager -o short-iso
# 只有在配置、权限、端口或依赖故障已经修复后才执行恢复
sudo systemctl reset-failed "$UNIT"
sudo systemctl start "$UNIT"
printf '\n== after recovery ==\n'
sudo systemctl show "$UNIT" \
-p ActiveState -p SubState -p Result -p NRestarts预期输出示例:
== before recovery ==
ActiveState=failed
SubState=failed
Result=start-limit-hit
NRestarts=5
StartLimitIntervalUSec=10s
StartLimitBurst=5
<TIME> <HOST> systemd[1]: myapp.service: Start request repeated too quickly.
<TIME> <HOST> systemd[1]: myapp.service: Failed with result 'start-limit-hit'.
== after recovery ==
ActiveState=active
SubState=running
Result=success
NRestarts=0<TIME>、<HOST> 和计数是动态值。恢复后若再次迅速回到 failed,说明限制只是保护机制,真实的启动失败仍未解决,应立即查看新一轮日志而不是继续清零。
命令作用
systemctl reset-failed UNIT 会清除指定单元的 failed 状态和启动频率计数;对 service 还会把自动重启计数清零。它不会修改 unit 文件、不会修复应用、不会重新读取已编辑的配置,也不会自动启动服务,因此通常要在修复后显式执行 start。
无参数的 sudo systemctl reset-failed 会处理所有已加载单元。生产环境应优先带明确 unit 名,避免同时抹掉其他故障单元的状态和计数,影响告警、审计与后续取证。
两种恢复路径
最快路径是在根因已修复后执行定向 reset-failed,立即重新获得一次启动机会。若不急于恢复,也可以等待 StartLimitIntervalSec= 的窗口过去,再发起新的人工、定时器或 socket 启动请求;窗口过去只会重新允许启动,不会凭空创建一次新的启动请求。
若刚修改过 unit 或 drop-in,顺序应为 daemon-reload、reset-failed、start。只修改应用自身配置且该应用不依赖 systemd 重新读取 unit 时,一般不需要 daemon-reload。
调整频率限制
限制反复被正常业务场景触发时,应增加重启间隔或按恢复时间调大窗口,而不是直接关闭保护。现代 unit 文件中,启动限速项放在 [Unit],重启策略放在 [Service]。
[Unit]
StartLimitIntervalSec=60s
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=10s该配置允许 60 秒窗口内最多 5 次启动,并在自动重启前等待 10 秒。修改后执行 sudo systemctl daemon-reload,再进行定向恢复;可用 systemctl show 检查运行时的 StartLimitIntervalUSec、StartLimitBurst、Restart 和 RestartUSec。
风险与边界
触发限制通常意味着服务在短窗口内重复启动或自动重启超过允许次数。未修根因就清零会再次进入循环,可能刷爆日志、占用 CPU、反复申请端口或连接数据库。安全替代是先停止服务、保存日志、修复失败原因,再清除单个 unit 的计数。
把 StartLimitIntervalSec=0 会关闭启动频率限制。只有上层编排器已经提供可靠退避、熔断和告警时才考虑这样做;普通单机服务应保留限速,并通过合理的 RestartSec= 减少瞬时重试。
排障清单
reset-failed后仍无法启动:检查 unit 是否masked、依赖是否失败,以及新日志中的首个错误。- 修改 unit 后行为未变化:执行
systemctl daemon-reload,并用systemctl cat确认 drop-in 已生效。 - 等待窗口后仍失败:窗口只恢复启动资格,应用故障、权限、端口冲突和缺失依赖仍需单独修复。
- 计数很快再次达到上限:增大
RestartSec=,检查外部脚本是否也在频繁执行start或restart。 - 旧发行版不识别选项:以本机
man systemd.unit和systemctl --version为准,避免把systemctl show的...USec属性名直接写进 unit 文件。
读取退出码、终止信号和 Result 属性判断服务失败类型。
分析服务退出结果
当 systemctl status 只显示 failed 时,用 Result 先判断 systemd 归类,再结合 ExecMainCode、ExecMainStatus 和本次启动日志确认是退出码、信号、超时还是启动频率限制。先取证再重启,避免覆盖最后一次执行结果。
命令定位
systemctl status 适合快速看摘要和最近日志;systemctl show 输出稳定的属性名,更适合脚本与逐字段判断;journalctl -u 用来补足进程最后的错误上下文。
常用语法是 systemctl show <UNIT> -p Result -p ExecMainCode -p ExecMainStatus。读取时不要只看 ActiveState=failed:真正用于分类的是 Result,而 ExecMainStatus 的含义必须由 ExecMainCode 决定。
主示例
下面创建一个退出码固定为 7 的临时服务,便于验证字段含义。示例会留下失败状态,检查完成后可执行 sudo systemctl reset-failed anystack-exit-demo.service 清理。
UNIT=anystack-exit-demo
# 创建一次性临时单元,并让主进程明确返回退出码 7
sudo systemd-run --unit="$UNIT" --property=Type=oneshot \
/bin/sh -c 'exit 7'
sleep 1
systemctl show "$UNIT.service" \
-p ActiveState -p SubState -p Result \
-p ExecMainCode -p ExecMainStatus
journalctl -u "$UNIT.service" -n 5 --no-pager预期输出中的时间、主机名和日志前缀会不同,但关键字段应一致:
Running as unit: anystack-exit-demo.service
ActiveState=failed
SubState=failed
Result=exit-code
ExecMainCode=1
ExecMainStatus=7
<TIME> <HOST> systemd[1]: anystack-exit-demo.service: Main process exited, code=exited, status=7/<TEXT>
<TIME> <HOST> systemd[1]: anystack-exit-demo.service: Failed with result 'exit-code'.这里 ExecMainCode=1 表示主进程正常执行了退出流程,ExecMainStatus=7 才是应用返回的退出码。日志中的 <TEXT> 是系统对退出码的可选名称,发行版或 systemd 版本不同可能为空或不同。
输出字段说明
| 字段 | 读取方法 |
|---|---|
LoadState |
loaded 表示单元已加载;not-found 先检查单元名、路径和 daemon-reload。 |
ActiveState / SubState |
表示当前状态,不等同于根因;failed/failed 只说明 systemd 已记录失败。 |
Result |
systemd 对本次运行的失败分类,常见值有 exit-code、signal、core-dump、timeout、watchdog、resources、start-limit-hit。 |
ExecMainCode |
1 表示正常退出,2 表示被信号终止,3 表示被信号终止并产生核心转储。 |
ExecMainStatus |
当 ExecMainCode=1 时是退出码;为 2 或 3 时是信号编号。 |
ExecMainPID |
运行中通常是主进程 PID;进程结束后常为 0,不能据此判断是否曾启动。 |
若服务包含多个 ExecStartPre=、ExecStart= 或 ExecStartPost=,ExecMain* 不一定指出失败的具体命令。此时继续查看 systemctl show "$SERVICE" -p ExecStartPre -p ExecStart -p ExecStartPost 和对应日志。
高频判断
Result=exit-code:应用主动返回非零值。先查应用日志、配置文件、权限和依赖资源,再根据程序文档解释退出码。Result=signal:进程被信号终止。ExecMainStatus=9通常是SIGKILL,继续检查 OOM、人工kill、容器限制或上级进程操作。Result=core-dump:先保留现场,再用coredumpctl info _SYSTEMD_UNIT=example.service查核心转储元数据;不要立即清理 journal 或 coredump。Result=timeout:查看日志中的启动或停止阶段,并读取TimeoutStartUSec、TimeoutStopUSec;不要只靠无限增大超时时间掩盖阻塞。Result=start-limit-hit:说明短时间内失败次数超过限制。先修复根因,再执行systemctl reset-failed;直接重置只会让失败循环重新开始。
风险与排障
服务失败后立即 restart 会更新最后一次执行状态,并可能覆盖最有价值的退出码和日志上下文。安全做法是先保存 systemctl status -l --no-pager、systemctl show 与 journalctl -u "$SERVICE" -b,确认取证完成后再恢复服务。
systemctl reset-failed 会清除失败标记和启动频率计数。触发条件是单元处于 failed 或 start-limit-hit;可能后果是监控暂时看不到原失败状态,且问题服务再次快速重启。安全替代方案是先导出证据、修复配置或依赖,再重置并启动。
排查顺序保持为:确认单元已加载;读取 Result;按 ExecMainCode 解释 ExecMainStatus;查看本次启动日志;信号退出时检查 OOM 与 coredump;超时时核对启动阶段;最后再处理重启限制。
兼容性
系统服务直接使用上述命令;用户级服务要统一加 --user,且不要混用 sudo。精简容器、WSL 或未以 systemd 作为 PID 1 的环境可能无法运行 systemd-run,但仍可对现有用户管理器使用 systemctl --user show。
速查结论:Result 定失败类别,ExecMainCode 定解释方式,ExecMainStatus 给实际退出码或信号。
查看启动耗时、关键链路和拖慢开机的服务。
分析开机启动耗时
当开机慢但无法确定阻塞点时,先用 systemd-analyze time 确认总耗时,再用 blame 找候选慢单元,最后用 critical-chain 判断它是否真的位于关键路径。不要仅凭耗时排行就禁用服务。
命令定位
三个命令分别回答不同问题:
systemd-analyze time:固件、引导器、内核和用户空间各用了多久,以及默认目标何时到达。systemd-analyze blame:按单元激活耗时倒序排列,用于筛选候选项。systemd-analyze critical-chain [UNIT]:沿依赖关系显示拖到最晚的链路,用于确认真正阻塞路径。
主示例与读取
以下命令只读当前开机过程,不会修改服务。default.target 会按系统配置解析到 graphical.target 或 multi-user.target。
systemd-analyze time
systemd-analyze blame --no-pager | head -n 10
systemd-analyze critical-chain default.target --no-pager预期输出会随硬件和服务变化;下面展示需要关注的格式:
Startup finished in <FIRMWARE_TIME> (firmware) + <LOADER_TIME> (loader) + 4.301s (kernel) + 12.742s (userspace) = 17.043s
graphical.target reached after 12.701s in userspace.
8.641s docker.service
4.012s NetworkManager-wait-online.service
1.203s systemd-journal-flush.service
<OTHER_UNITS>
graphical.target @12.701s
└─multi-user.target @12.700s
└─docker.service @4.003s +8.641s
└─network-online.target @3.980s在关键链输出中,@12.701s 表示单元相对用户空间启动后的激活时刻,+8.641s 表示该单元自身处于 activating 状态的持续时间。只有同时出现在关键链并带来较大 + 值的单元,才是优先排查对象。
三种视图怎么配合
blame 的第一名不一定拖慢开机,因为多个服务通常并行启动。例如一个服务耗时 20 秒,但它没有阻塞默认目标,用户仍可能在它完成前进入系统。critical-chain 每一层只选择让上层最晚满足的依赖,因此更接近“谁真正挡住了目标”。

当链路复杂时,可额外生成 systemd 自带的启动时间轴。它比手工示意图更适合核对本机所有单元的并行与等待关系。
OUT=/tmp/systemd-boot.svg
systemd-analyze plot > "$OUT"
test -s "$OUT" && printf 'generated: %s\n' "$OUT"预期输出如下,文件大小和路径可按实际需要调整:
generated: /tmp/systemd-boot.svg生成的 SVG 只包含本机启动数据,不代表通用基线。打开后重点看目标到达前的长条、串行等待和橙色或高亮的关键路径,不要只看启动后仍在后台执行的单元。
排障清单
- 用
time判断慢在固件、内核还是用户空间。固件或引导器耗时高时,systemd 服务优化帮助有限。 - 用
blame取前 10~20 个候选,记录持续时间,不立即禁用。 - 对
default.target、network-online.target或业务目标运行critical-chain,确认候选是否在链上。 - 对关键单元读取
systemctl status、systemctl show -p After -p Wants -p Requires -p TimeoutStartUSec,判断是在等依赖、等超时还是执行自身初始化。 - 用
journalctl -b -u example.service -o short-monotonic --no-pager对齐单调时间戳,查明等待发生在哪一步。 - 修改后至少重复冷启动或重启数次,排除首次缓存构建、文件系统检查和软件升级带来的偶发偏差。
Type=simple 服务在主进程创建后通常就被 systemd 视为已启动,应用内部继续加载模型、连接数据库或预热缓存的时间不会完整反映在 blame 中。此时要结合应用就绪日志,或评估是否应使用 Type=notify 上报真实就绪状态。
风险与边界
仅凭 blame 禁用或屏蔽高耗时服务,触发条件是看到某单元排名靠前但尚未验证依赖;可能后果是网络、磁盘挂载、登录、容器或业务服务在启动时出现竞态。安全替代方案是先查 critical-chain 与反向依赖,再在测试环境验证修改。
NetworkManager-wait-online.service 或 systemd-networkd-wait-online.service 耗时较高时,直接禁用可能让声明依赖 network-online.target 的服务在网络可用前启动。更安全的做法是确认业务是否真正需要“网络已配置完成”,再调整等待接口、超时或应用重试策略。
把 TimeoutStartSec 大幅缩短只能更快失败,不能消除实际阻塞;把它无限增大则会延长故障开机。应先从日志确定等待对象,再针对 DNS、挂载、远端依赖、设备或应用初始化修复。
兼容性
systemd-analyze 主要分析当前 systemd 管理器记录的本次启动。容器、chroot、部分 WSL 环境或未以 systemd 为 PID 1 的系统可能没有完整数据;虚拟机还会把宿主机调度延迟混入结果。不同版本的 plot 配色和字段略有差异,但 time、blame、critical-chain 的读取原则一致。
速查结论:time 定阶段,blame 找候选,critical-chain 才确认真正阻塞点。
检查服务的内存、CPU、进程数和文件描述符限制及实际占用。
检查资源限制与占用
用于确认服务是否因 cgroup 资源上限或进程级 rlimit 触顶而出现 OOM、CPU 延迟、无法创建线程或 Too many open files。先读取 systemd 的有效限制,再对照服务整个 cgroup 与主进程的实际占用,避免只看交互式 Shell 的 ulimit。
快速读取有效限制
将服务名替换为目标单元。systemctl show 读取的是 systemd 当前加载的有效属性,包含主单元和 drop-in 合并后的结果。
SERVICE=nginx.service
systemctl show "$SERVICE" \
-p LoadState -p ActiveState -p SubState -p MainPID -p ControlGroup \
-p MemoryAccounting -p MemoryCurrent -p MemoryHigh -p MemoryMax \
-p CPUAccounting -p CPUUsageNSec -p CPUQuotaPerSecUSec \
-p TasksAccounting -p TasksCurrent -p TasksMax \
-p LimitNOFILE -p LimitNPROC预期输出示例:
LoadState=loaded
ActiveState=active
SubState=running
MainPID=1234
ControlGroup=/system.slice/nginx.service
MemoryAccounting=yes
MemoryCurrent=32768000
MemoryHigh=infinity
MemoryMax=infinity
CPUAccounting=yes
CPUUsageNSec=2145873000
CPUQuotaPerSecUSec=infinity
TasksAccounting=yes
TasksCurrent=5
TasksMax=4663
LimitNOFILE=524288
LimitNPROC=524288MemoryCurrent 为服务整个 cgroup 的当前内存字节数,包含工作进程;CPUUsageNSec 是累计 CPU 时间,不是瞬时百分比;TasksCurrent 统计进程和线程任务数。infinity 表示该层未设置硬上限,但仍可能受父 cgroup、容器或宿主机限制。
核对主进程与文件描述符
下面同时查看主进程的 CPU、内存、线程数、已打开文件描述符和实际生效的 nofile 软硬限制。服务有多个工作进程时,以 cgroup 数据判断总量,以 /proc 数据定位单个进程。
SERVICE=nginx.service
PID=$(systemctl show "$SERVICE" -p MainPID --value)
if [ -z "$PID" ] || [ "$PID" -le 0 ]; then
echo "service has no running MainPID"
exit 1
fi
ps -o pid,ppid,nlwp,%cpu,%mem,rss,vsz,etime,cmd -p "$PID"
printf 'open_fds='
find "/proc/$PID/fd" -mindepth 1 -maxdepth 1 -type l 2>/dev/null | wc -l
awk '$1=="Max" && $2=="open" && $3=="files" {
printf "nofile_soft=%s nofile_hard=%s\n", $(NF-2), $(NF-1)
}' "/proc/$PID/limits"
CGROUP=$(systemctl show "$SERVICE" -p ControlGroup --value)
systemd-cgtop -b -n 1 "$CGROUP"预期输出示例:
PID PPID NLWP %CPU %MEM RSS VSZ ELAPSED CMD
1234 1 1 0.2 0.1 12480 55232 01:18:42 nginx: master process
open_fds=73
nofile_soft=1024 nofile_hard=524288
Control Group Tasks %CPU Memory
/system.slice/nginx.service 5 0.2 31.2MRSS 单位通常为 KiB,只代表主进程;systemd-cgtop 的 Memory 和 Tasks 才覆盖该服务 cgroup。若读取 /proc/<PID>/fd 得到 0,先确认权限和 PID 是否在命令执行期间退出。
判断是否已经触顶
先查服务日志和内核 OOM 记录,再把报错与限制对应起来。
SERVICE=nginx.service
journalctl -u "$SERVICE" -b --no-pager \
| grep -Ei 'oom|out of memory|cannot allocate|too many open files|resource temporarily unavailable|fork'
journalctl -k -b --no-pager \
| grep -Ei 'oom-kill|out of memory|killed process'命中时的输出可能类似:
<TIME> nginx[1234]: socket() failed (24: Too many open files)
<TIME> kernel: Memory cgroup out of memory: Killed process <PID> (nginx)MemoryCurrent 长期接近 MemoryHigh 时会出现回收和延迟;达到 MemoryMax 可能触发 cgroup OOM。TasksCurrent 接近 TasksMax 时,fork()、clone() 或创建线程可能返回 EAGAIN;打开文件数接近软限制时通常出现 EMFILE。
风险与安全调整
不要在高峰期直接把 MemoryMax 调到低于当前占用,可能立即触发回收或 OOM 杀进程。过低的 CPUQuota 会放大请求延迟,过低的 TasksMax 会阻断新线程,过低的 LimitNOFILE 会导致连接和日志文件打开失败。
安全做法是先记录当前值,在预发布环境验证,再用 drop-in 小步调整并安排重启窗口。MemoryHigh 可先作为软阈值观察;LimitNOFILE 属于进程级限制,修改后必须让服务进程重新启动才会生效。临时测试优先使用 /run/systemd/system/<service>.d/ 下的 runtime drop-in,验证后删除该文件、执行 daemon-reload 并重启恢复。
排障清单
systemctl show的限制是否与systemctl cat中主单元和 drop-in 一致。- 是否只检查了主进程,而遗漏同一 cgroup 内的工作进程和线程。
- 是否误把当前 Shell 的
ulimit -n当成服务的LimitNOFILE。 - 容器、Slice 或上级 cgroup 是否设置了更严格的内存、CPU 或 PID 上限。
- 调整后是否重启服务,并再次读取
/proc/<PID>/limits验证。
较旧的 systemd 或 cgroup v1 环境可能缺少部分统计属性;此时以 /proc/<PID>/limits、systemd-cgtop 和对应 cgroup 文件为准。
定位文件系统保护、能力限制和系统调用过滤导致的访问失败。
排查安全沙箱限制
用于定位服务在交互式 Shell 中可运行、由 systemd 启动却出现 Permission denied、Read-only file system 或 Operation not permitted 的情况。重点区分文件系统保护、Linux capability、seccomp 系统调用过滤,以及 SELinux/AppArmor 等外部安全层。
查看有效沙箱配置
先读取主单元、drop-in 和 systemd 合并后的有效属性。systemd-analyze security 用于发现高风险或已启用的加固项,但评分高低不能直接证明某条限制就是故障原因。
SERVICE=myapp.service
systemctl cat "$SERVICE"
systemctl show "$SERVICE" \
-p FragmentPath -p DropInPaths -p User -p Group -p DynamicUser \
-p ProtectSystem -p ProtectHome -p PrivateTmp -p PrivateDevices \
-p ReadWritePaths -p ReadOnlyPaths -p InaccessiblePaths \
-p NoNewPrivileges -p CapabilityBoundingSet -p AmbientCapabilities \
-p SystemCallFilter -p SystemCallErrorNumber \
-p RestrictAddressFamilies -p RestrictNamespaces
systemd-analyze security "$SERVICE" --no-pager预期输出节选:
ProtectSystem=strict
ProtectHome=true
PrivateTmp=yes
PrivateDevices=yes
ReadWritePaths=/var/lib/myapp /var/log/myapp
NoNewPrivileges=yes
CapabilityBoundingSet=cap_chown cap_dac_override cap_net_bind_service
AmbientCapabilities=
SystemCallErrorNumber=1
Overall exposure level for myapp.service: 3.8 OKProtectSystem=strict 会把大部分文件系统设为只读,只有 ReadWritePaths 等显式例外可写;PrivateTmp=yes 让服务看到独立的 /tmp;CapabilityBoundingSet 是能力上限,能力一旦被排除,子进程无法重新获得。
从错误反推限制项
先保留原始失败时间,再同时查看服务日志和内核安全日志。内核日志中的 avc、apparmor 或 SECCOMP 能帮助区分 systemd 沙箱与 LSM、seccomp 拒绝。
SERVICE=myapp.service
journalctl -u "$SERVICE" -b -n 120 --no-pager -o short-precise
journalctl -k -b --no-pager \
| grep -Ei 'audit|avc:|apparmor|seccomp|denied'命中时的输出可能类似:
<TIME> myapp[<PID>]: open("/etc/myapp/key.pem") failed: Read-only file system
<TIME> myapp[<PID>]: bind(0.0.0.0:<PORT>) failed: Operation not permitted
<TIME> kernel: audit: type=SECCOMP ... pid=<PID> syscall=<ID> ... action=errno常见对应关系如下:
| 现象 | 优先检查 |
|---|---|
写 /usr、/etc 时报只读 |
ProtectSystem、ReadOnlyPaths、ReadWritePaths |
访问 /home、/root 被拒绝 |
ProtectHome、InaccessiblePaths、运行用户权限 |
服务与终端看到的 /tmp 文件不同 |
PrivateTmp |
| 绑定低端口、修改网络或文件所有者失败 | CapabilityBoundingSet、AmbientCapabilities、NoNewPrivileges |
某调用返回 EPERM 或进程被 seccomp 终止 |
SystemCallFilter、SystemCallErrorNumber、内核审计日志 |
| 设备节点或地址族不可用 | PrivateDevices、DevicePolicy、RestrictAddressFamilies |
检查运行进程的能力与 seccomp
配置文件表达的是期望状态,/proc 显示的是当前进程实际状态。服务重启后应再次检查,避免误读旧进程。
SERVICE=myapp.service
PID=$(systemctl show "$SERVICE" -p MainPID --value)
if [ -z "$PID" ] || [ "$PID" -le 0 ]; then
echo "service has no running MainPID"
exit 1
fi
grep -E '^(Cap(Inh|Prm|Eff|Bnd|Amb)|NoNewPrivs|Seccomp):' "/proc/$PID/status"
if command -v getpcaps >/dev/null 2>&1; then
getpcaps "$PID"
fi预期输出示例:
CapInh: 0000000000000000
CapPrm: 0000000000000400
CapEff: 0000000000000400
CapBnd: 0000000000000400
CapAmb: 0000000000000000
NoNewPrivs: 1
Seccomp: 2
<PID>: cap_net_bind_service=epNoNewPrivs: 1 表示进程不能通过 execve() 获得额外权限;Seccomp: 2 只说明过滤器已启用,不能单独判断被拦截的是哪个系统调用。getpcaps 来自 libcap 工具包,未安装时可仅保留 /proc 检查。
一次只放宽一个限制
验证时只增加最小例外,不要直接关闭整套沙箱。下面示例为目标服务临时增加一个可写目录;将路径替换为服务真实需要写入的位置。runtime drop-in 在重启后仍有效,但主机重启会丢失。
SERVICE=myapp.service
DROPIN="/run/systemd/system/${SERVICE}.d/90-sandbox-debug.conf"
sudo install -d -m 0755 "$(dirname "$DROPIN")"
sudo tee "$DROPIN" >/dev/null <<'EOF'
[Service]
ReadWritePaths=-/var/lib/myapp
EOF
sudo systemctl daemon-reload
sudo systemctl restart "$SERVICE"
systemctl show "$SERVICE" -p ReadWritePaths -p ActiveState -p SubState预期输出示例:
ReadWritePaths=/var/lib/myapp
ActiveState=active
SubState=running若问题消失,说明写路径限制方向正确,应把精确目录写入受版本控制的持久化 drop-in。能力问题只补充业务确实需要的单个 capability;系统调用问题只扩展明确缺失的 syscall。验证结束后删除 90-sandbox-debug.conf,执行 daemon-reload 并重启服务,不要使用会同时移除其他合法 override 的粗暴回滚方式。
风险与边界
触发条件是为了快速恢复而设置 ProtectSystem=false、清空 SystemCallFilter、关闭 NoNewPrivileges,或加入 CAP_SYS_ADMIN 等过宽能力。后果是受侵进程可访问更多宿主文件、调用更大的内核攻击面,甚至接近 root 权限。
安全替代方案是添加单一路径例外、单个 capability 或单个 syscall,并在隔离环境重放故障。重启生产服务可能造成短时中断,应使用滚动重启或备用实例验证。SELinux、AppArmor、容器 seccomp 和挂载参数不属于 systemd 单元本身;出现 avc 或 apparmor="DENIED" 时应修改对应策略,而不是继续放宽 systemd 沙箱。
不同 systemd 版本支持的加固指令和 systemd-analyze security 检查项不同。遇到 Unknown lvalue 时先查看 systemd --version 和本机 man systemd.exec,不要直接复制高版本配置。