命令行与文本处理 / 知识点
Shell 脚本工程实践手册
日志与可观测性
把业务输出与错误信息分流。
错误日志写 stderr
把业务输出与错误信息分流。
推荐实现
printf 'result=ok\n'
printf 'warning: slow response\n' >&2预期结果
stdout 只有 `result=ok`,stderr 单独包含 warning。关键边界
不要把所有内容都写 stdout。
通过环境变量开启调试,不默认输出敏感细节。
可控 Debug 日志
通过环境变量开启调试,不默认输出敏感细节。
推荐实现
DEBUG="${DEBUG:-0}"
debug() {
[[ "$DEBUG" == "1" ]] || return 0
printf 'DEBUG: %s\n' "$*" >&2
}
debug "loading config"预期结果
`DEBUG=1` 时输出调试信息,否则无输出。关键边界
Debug 日志禁止直接打印密码、Token、Cookie、私钥。
记录任务开始与结束时间,方便定位慢步骤。
给关键步骤记录耗时
记录任务开始与结束时间,方便定位慢步骤。
推荐实现
start=$SECONDS
sleep 1
printf 'elapsed=%ss\n' "$((SECONDS - start))"预期结果
约输出 `elapsed=1s`。关键边界
需要毫秒级精度时使用更合适的计时方式,但普通运维脚本秒级通常足够。
只在非敏感片段临时开启命令跟踪。
避免 set -x 泄密
只在非敏感片段临时开启命令跟踪。
推荐实现
set -x
printf 'safe step\n'
set +x
TOKEN="<TOKEN>"
printf 'token loaded\n'预期结果
只打印安全步骤的 trace,不打印 Token 赋值。关键边界
set -x 会打印变量展开后的命令,是凭据泄露高发点。
文件、临时资源与原子操作
避免手工拼 /tmp/demo.$$ 等可预测路径。
使用 mktemp 创建临时文件
避免手工拼 /tmp/demo.$$ 等可预测路径。
推荐实现
tmp_file="$(mktemp)"
trap 'rm -f -- "$tmp_file"' EXIT
printf 'data\n' >"$tmp_file"
printf 'created=%s\n' "$tmp_file"预期结果
创建唯一临时文件,脚本退出时自动删除。关键边界
mktemp 可降低竞态和符号链接攻击风险。
需要多个临时文件时使用独立临时目录。
使用 mktemp 创建临时目录
需要多个临时文件时使用独立临时目录。
推荐实现
tmp_dir="$(mktemp -d)"
trap 'rm -rf -- "$tmp_dir"' EXIT
printf 'work\n' >"$tmp_dir/result.txt"
printf '%s\n' "$tmp_dir"预期结果
生成唯一目录,并在脚本退出时清理。关键边界
清理前确保变量非空且确实来自 mktemp。
无论成功、失败还是大多数正常信号退出,都执行清理。
用 trap 统一清理临时资源
无论成功、失败还是大多数正常信号退出,都执行清理。
推荐实现
tmp_file="$(mktemp)"
cleanup() {
rm -f -- "$tmp_file"
}
trap cleanup EXIT INT TERM预期结果
脚本结束后临时文件被删除。关键边界
cleanup 应具备幂等性,多次调用也不能造成破坏。
先写临时文件,校验成功后再替换目标。
原子写入配置文件
先写临时文件,校验成功后再替换目标。
推荐实现
target="app.conf"
tmp="$(mktemp "${target}.tmp.XXXXXX")"
trap 'rm -f -- "$tmp"' EXIT
printf 'enabled=true\n' >"$tmp"
mv -f -- "$tmp" "$target"
trap - EXIT预期结果
`app.conf` 最终一次性替换为完整内容。关键边界
在同一文件系统内 mv 通常可提供原子替换语义,避免读到半写文件。
对重要配置变更保留可恢复副本。
写文件前先备份
对重要配置变更保留可恢复副本。
推荐实现
target="app.conf"
backup="${target}.bak"
cp -a -- "$target" "$backup"
printf 'backup=%s\n' "$backup"预期结果
生成保留原属性的备份文件。关键边界
备份也需要生命周期管理,避免无限堆积。
处理可能以 - 开头的文件名。
使用 -- 结束参数解析
处理可能以 - 开头的文件名。
推荐实现
file="-demo.txt"
printf 'x\n' >"$file"
rm -- "$file"预期结果
正确删除名为 `-demo.txt` 的文件。关键边界
文件操作命令支持时优先使用 --。
所有路径变量默认使用双引号。
安全处理含空格文件名
所有路径变量默认使用双引号。
推荐实现
file="a b.txt"
printf 'hello\n' >"$file"
wc -l -- "$file"
rm -- "$file"预期结果
文件名含空格仍被当作单个参数。关键边界
除非明确需要单词拆分,否则变量引用都加双引号。
需要遍历文件时使用 NUL 分隔。
安全处理任意文件名
需要遍历文件时使用 NUL 分隔。
推荐实现
find . -type f -print0 |
while IFS= read -r -d '' file; do
printf '<%s>\n' "$file"
done预期结果
即使文件名包含空格、Tab 或换行也能保持边界。关键边界
不要用 for f in $(find ...)。
并发、锁与后台任务
使用 flock 建立进程锁。
防止脚本重复运行
使用 flock 建立进程锁。
推荐实现
exec 9>/tmp/demo-script.lock
if ! flock -n 9; then
printf 'already running\n' >&2
exit 75
fi
printf 'lock acquired\n'预期结果
首个实例输出 `lock acquired`;并发实例输出 `already running`。关键边界
锁文件路径应稳定;不要只用 PID 文件判断进程是否仍存活。
每个后台任务启动后立即保存 $!。
启动后台任务并保存 PID
每个后台任务启动后立即保存 $!。
推荐实现
sleep 1 &
pid=$!
printf 'pid=%s\n' "$pid"
wait "$pid"预期结果
输出后台 PID,等待任务完成后继续。关键边界
$! 只代表最近一次后台任务,必须及时保存。
保存 PID 数组并逐个 wait。
等待多个后台任务
保存 PID 数组并逐个 wait。
推荐实现
pids=()
for n in 1 2 3; do
sleep "$n" &
pids+=("$!")
done
status=0
for pid in "${pids[@]}"; do
wait "$pid" || status=1
done
exit "$status"预期结果
全部任务成功时退出码 0;任一失败时最终返回非 0。关键边界
不要只 wait 一次后假设所有任务都成功。
批量任务应限制并发,避免瞬间压垮机器或下游。
限制并发数量
批量任务应限制并发,避免瞬间压垮机器或下游。
推荐实现
max_jobs=3
for item in 1 2 3 4 5; do
while (( $(jobs -rp | wc -l) >= max_jobs )); do
sleep 0.1
done
sleep 1 &
done
wait预期结果
任意时刻后台任务数量大致不超过 3。关键边界
这是简单实现;大规模并发建议使用 xargs -P、GNU parallel 或专门任务系统。
避免第三方命令永久阻塞脚本。
为外部命令设置超时
避免第三方命令永久阻塞脚本。
推荐实现
if ! timeout 5s some_command; then
printf 'command timed out or failed\n' >&2
exit 1
fi预期结果
超过 5 秒或命令失败时返回非 0。关键边界
timeout 是外部命令,不是 Bash 内建;精简环境需确认可用。
安全与高风险操作
对 rm -rf 目标同时检查非空、非根目录和允许前缀。
删除目录前做三重校验
对 rm -rf 目标同时检查非空、非根目录和允许前缀。
推荐实现
target="${TARGET_DIR:-}"
base="/srv/app/tmp"
if [[ -z "$target" || "$target" == "/" || "$target" != "$base/"* ]]; then
printf 'unsafe target: %q\n' "$target" >&2
exit 1
fi
rm -rf -- "$target"预期结果
只有 `/srv/app/tmp/...` 范围内的非空目标才会删除。关键边界
删除脚本必须白名单约束范围,不要只判断变量非空。
不要把字符串拼成命令再执行。
避免 eval
不要把字符串拼成命令再执行。
推荐实现
args=(--name "Alice Smith" --mode safe)
some_command "${args[@]}"预期结果
参数按数组边界安全传递。关键边界
优先数组、case 和函数;eval 会把数据重新解释为 Shell 代码,极易产生注入。
可选参数通过数组追加,避免字符串拼接。
使用数组构造动态命令
可选参数通过数组追加,避免字符串拼接。
推荐实现
cmd=(curl -sS)
if [[ ${DEBUG:-0} == "1" ]]; then
cmd+=(-v)
fi
cmd+=(https://example.com/)
printf '%q ' "${cmd[@]}"
printf '\n'预期结果
输出安全可见的参数边界,例如 `curl -sS ...`。关键边界
执行时使用 "${cmd[@]}",不要使用 ${cmd[*]} 拼成单个字符串。