AI Agent / 系统课时

设计命令安全策略

设计命令安全策略

本篇解决智能体执行 Shell 命令时缺少边界控制的问题,通过白名单、工作目录限制和危险参数检测,让命令执行从“可用”变为“可控”,最终降低误操作和恶意输入带来的风险。

学习目标

  • 理解智能体执行命令时需要限制哪些风险面
  • 掌握白名单、路径限制和参数检测的组合策略
  • 能够设计基础的安全命令校验流程

命令执行的主要风险

智能体调用终端能力时,真正危险的不是单条命令本身,而是命令来源、执行范围和参数组合不可控。例如删除目录、修改系统配置或访问敏感文件,都可能因为模型理解偏差造成破坏。

安全策略通常需要同时控制三个层面:允许执行什么命令、允许在哪个目录执行、允许携带什么参数。只依赖黑名单容易遗漏新风险,因此生产环境更推荐白名单优先。

使用白名单限制可执行命令

白名单表示只允许预先定义的命令集合进入执行流程。例如开发环境智能体可能只允许运行测试、查看状态和读取日志相关命令。

python
ALLOWED_COMMANDS = {
    "pytest": ["--version", "tests/"],
    "git": ["status", "diff"]
}

def validate_command(command, args):
    # 先检查命令是否属于允许集合
    if command not in ALLOWED_COMMANDS:
        return False
    # 再限制允许参数范围
    return all(arg in ALLOWED_COMMANDS[command] for arg in args)

print(validate_command("git", ["status"]))

预期输出

text
True

实际系统中参数校验通常会更复杂,例如允许路径前缀匹配、参数格式校验和权限检查。

限制工作目录与危险参数

即使命令本身安全,也需要限制执行位置。智能体不应该默认拥有整个文件系统访问权限。

常见策略包括:

  • 将执行目录固定到项目工作区
  • 禁止访问系统目录和用户密钥目录
  • 拦截递归删除、权限修改等高风险参数

例如检测删除命令时,可以拒绝危险组合:

python
DANGEROUS_PATTERNS = ["rm -rf /", "chmod 777", "curl | sh"]

def is_dangerous(command_text):
    return any(item in command_text for item in DANGEROUS_PATTERNS)

print(is_dangerous("rm -rf /tmp/project"))

预期结果

text
False

检测逻辑需要结合业务场景调整,避免简单关键词匹配导致误拦截。

命令安全策略组合方式

可靠的执行链通常按照以下顺序工作:先识别请求目标,再校验命令类型,然后检查目录和参数,最后决定是否直接执行或进入人工确认。

安全策略不是为了完全禁止智能体操作,而是在可预测范围内释放能力。低风险读取操作可以自动执行,高风险修改操作应提升审批等级。

本课总结

  • 命令安全需要同时限制命令、目录和参数三个维度。
  • 白名单策略比单纯黑名单更适合智能体执行环境。
  • 高风险操作应结合人工确认形成多层防护。

下一课预告

下一课将介绍如何在智能体工作流中加入人工确认节点,让高风险操作在执行前获得明确授权。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计命令安全策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通