AI Agent / 系统课时
设计命令安全策略
设计命令安全策略
本篇解决智能体执行 Shell 命令时缺少边界控制的问题,通过白名单、工作目录限制和危险参数检测,让命令执行从“可用”变为“可控”,最终降低误操作和恶意输入带来的风险。
学习目标
- 理解智能体执行命令时需要限制哪些风险面
- 掌握白名单、路径限制和参数检测的组合策略
- 能够设计基础的安全命令校验流程
命令执行的主要风险
智能体调用终端能力时,真正危险的不是单条命令本身,而是命令来源、执行范围和参数组合不可控。例如删除目录、修改系统配置或访问敏感文件,都可能因为模型理解偏差造成破坏。
安全策略通常需要同时控制三个层面:允许执行什么命令、允许在哪个目录执行、允许携带什么参数。只依赖黑名单容易遗漏新风险,因此生产环境更推荐白名单优先。
使用白名单限制可执行命令
白名单表示只允许预先定义的命令集合进入执行流程。例如开发环境智能体可能只允许运行测试、查看状态和读取日志相关命令。
python
ALLOWED_COMMANDS = {
"pytest": ["--version", "tests/"],
"git": ["status", "diff"]
}
def validate_command(command, args):
# 先检查命令是否属于允许集合
if command not in ALLOWED_COMMANDS:
return False
# 再限制允许参数范围
return all(arg in ALLOWED_COMMANDS[command] for arg in args)
print(validate_command("git", ["status"]))预期输出
text
True实际系统中参数校验通常会更复杂,例如允许路径前缀匹配、参数格式校验和权限检查。
限制工作目录与危险参数
即使命令本身安全,也需要限制执行位置。智能体不应该默认拥有整个文件系统访问权限。
常见策略包括:
- 将执行目录固定到项目工作区
- 禁止访问系统目录和用户密钥目录
- 拦截递归删除、权限修改等高风险参数
例如检测删除命令时,可以拒绝危险组合:
python
DANGEROUS_PATTERNS = ["rm -rf /", "chmod 777", "curl | sh"]
def is_dangerous(command_text):
return any(item in command_text for item in DANGEROUS_PATTERNS)
print(is_dangerous("rm -rf /tmp/project"))预期结果
text
False检测逻辑需要结合业务场景调整,避免简单关键词匹配导致误拦截。
命令安全策略组合方式
可靠的执行链通常按照以下顺序工作:先识别请求目标,再校验命令类型,然后检查目录和参数,最后决定是否直接执行或进入人工确认。
安全策略不是为了完全禁止智能体操作,而是在可预测范围内释放能力。低风险读取操作可以自动执行,高风险修改操作应提升审批等级。
本课总结
- 命令安全需要同时限制命令、目录和参数三个维度。
- 白名单策略比单纯黑名单更适合智能体执行环境。
- 高风险操作应结合人工确认形成多层防护。
下一课预告
下一课将介绍如何在智能体工作流中加入人工确认节点,让高风险操作在执行前获得明确授权。
按自己的节奏,确认真正理解。