网络与系统安全 / 系统课时
排查异常进程连接与持久化
排查异常进程连接与持久化
本篇解决“服务器疑似被入侵后,如何从现象追到进程、网络连接和持久化入口”的问题。你将按低破坏顺序检查进程、监听端口、外联连接、计划任务、systemd 单元与启动脚本,并把可疑对象串成一条可复核的证据链。
学习目标
- 能从进程与网络连接中定位异常服务、可疑父子进程和未知外联。
- 能检查 cron、systemd 与启动脚本中的持久化入口,并避免贸然删除证据。
- 能用交叉验证的方法确认“进程—文件—连接—启动项”之间的关系。
先从进程和连接建立线索
排查时不要先杀进程或删文件。先记录“谁在运行、谁在监听、谁在向外连接”,再向启动来源追溯。优先关注长期占用高 CPU、名称伪装成系统进程、可执行文件位于 /tmp、/var/tmp、/dev/shm 等非常规目录,以及父进程关系异常的对象。
先执行一组只读命令建立快照:
date -Is
ps -eo pid,ppid,user,lstart,etime,%cpu,%mem,comm,args --sort=-%cpu | head -n 30
ss -lntup
ss -antp state established预期输出:
<TIME>
PID PPID USER STARTED ELAPSED %CPU %MEM COMMAND COMMAND
<ID> 1 root <TIME> <TIME> ... ... <PROCESS> <COMMAND>
...
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
...<TIME>、<ID>、<PROCESS> 与端口等值会因主机而不同。重点不是某个固定数字,而是把 PID 与监听端口、外联目标对应起来。

沿 PID 追到可执行文件与父进程
发现可疑 PID 后,继续确认真实文件、命令行和父进程。/proc/<PID>/exe 能看到进程实际执行文件,cmdline 能补充启动参数,pstree 则帮助判断它是由 systemd、shell、容器运行时还是其他进程拉起。
下面示例中的 PID 用 <ID> 代替,实际执行时替换为真实数字:
PID="<ID>"
readlink -f "/proc/$PID/exe"
tr '\0' ' ' < "/proc/$PID/cmdline"; echo
pstree -aps "$PID"预期输出:
<PATH>
<COMMAND>
systemd,1 ... ---<PROCESS>,<ID> ...如果 exe 指向已删除文件、临时目录或与进程名明显不符,应提升优先级继续调查。此时仍不要直接清理,因为“已删除但仍在运行”的文件可能正是后续取证所需线索。
检查计划任务与 systemd 持久化
计划任务是常见的自动拉起入口。先检查系统级 cron,再检查各用户 crontab。systemd 则要重点看新建服务、定时器,以及 ExecStart 指向非常规路径的单元。
cat /etc/crontab
find /etc/cron.d /etc/cron.daily /etc/cron.hourly -maxdepth 1 -type f -printf '%p %TY-%Tm-%Td %TH:%TM\n' 2>/dev/null
while IFS=: read -r user _; do
jobs=$(crontab -u "$user" -l 2>/dev/null) || continue
printf '===== user:%s =====\n%s\n' "$user" "$jobs"
done < /etc/passwd
systemctl list-timers --all --no-pager
systemctl list-unit-files --type=service --state=enabled预期输出:
<CRON_CONTENT>
<PATH> <TIME>
NEXT LEFT LAST PASSED UNIT ACTIVATES
...
UNIT FILE STATE PRESET
...对可疑 service 不要只看单元名,要查看最终展开后的内容:
UNIT="<UNIT_NAME>"
systemctl cat "$UNIT"
systemctl show "$UNIT" -p FragmentPath -p ExecStart -p User -p Restart预期输出:
# <PATH>
[Service]
ExecStart=<COMMAND>
FragmentPath=<PATH>
ExecStart={ path=<PATH> ; argv[]=<COMMAND> ; ... }
User=<USER>
Restart=<VALUE>如果 ExecStart 指向 /tmp、用户家目录隐藏文件或陌生下载脚本,应把对应文件路径、修改时间和关联 PID 一并记录。
检查启动脚本与用户级入口
旧系统或兼容环境中,还可能通过 /etc/rc.local、/etc/profile、/etc/profile.d/、用户 shell 配置以及用户级 systemd 建立持久化。检查时只读取,不要用编辑器直接打开后保存,以免改变时间戳。
for f in /etc/rc.local /etc/profile; do
[ -f "$f" ] && { echo "===== $f ====="; sed -n '1,220p' "$f"; }
done
find /etc/profile.d -maxdepth 1 -type f -printf '%p %TY-%Tm-%Td %TH:%TM\n' 2>/dev/null
find /root /home -maxdepth 2 -type f \( -name '.profile' -o -name '.bashrc' -o -name '.bash_profile' \) -print 2>/dev/null
find /root /home -path '*/.config/systemd/user/*.service' -type f -print 2>/dev/null预期输出:
===== /etc/rc.local =====
<FILE_CONTENT>
===== /etc/profile =====
<FILE_CONTENT>
<PATH> <TIME>
<USER_STARTUP_FILES>用交叉证据确认而不是凭名字判断
单个异常现象很容易误报。可靠结论至少应能回答四个问题:进程从哪个文件启动、由谁拉起、连接到哪里、重启后为什么还能回来。把 PID、可执行文件哈希、端口、外联地址、单元文件或计划任务路径放在同一记录中,往往能快速区分合法代理、运维脚本和真正异常程序。
最后再用文件元数据补充判断:
FILE="<PATH>"
stat "$FILE"
sha256sum "$FILE"预期输出:
File: <PATH>
Size: <SIZE> ...
Access: <TIME>
Modify: <TIME>
Change: <TIME>
<SHA256> <PATH>真正需要处置时,应先记录这些信息,再按事件响应流程隔离主机、停止恶意进程并清除持久化入口。顺序的价值在于:先留下足够证据,再执行恢复动作,避免“处理成功了,却再也说不清发生过什么”。