AI Agent / 系统课时

实施安全与权限控制

实施安全与权限控制

Agent 的风险来自“模型可以决定下一步做什么”,因此安全控制不能只依赖提示词提醒。本课把工具权限、敏感数据、输出内容和高风险动作拆成独立控制面,并用可运行的权限策略说明如何让关键约束无法被模型绕过。

学习目标

  • 用最小权限原则限制 Agent 可见工具和可执行动作
  • 在输入、工具调用、数据返回和最终输出位置设置独立安全检查
  • 为删除、转账、发信等高风险动作增加确认、鉴权和审计门禁

把权限边界放在模型之外

系统可以在提示词中告诉模型“禁止删除数据”,但真正的安全边界必须位于工具执行器、数据访问层或网关。即使模型受到提示注入、误判意图或生成错误参数,确定性的权限检查仍应在真正产生副作用之前阻止越权操作。

最小权限通常同时约束三个维度:主体是谁、允许调用哪个工具、允许操作什么资源。仅判断“这个 Agent 能调用某个工具”仍然不够,还需要限制租户、资源范围、数据分类以及动作发生时必须满足的附加条件。

Agent 安全控制面与高风险动作门禁

用策略代码拒绝越权动作

下面的授权函数接收宿主已认证的主体、服务端读到的当前资源及可信审批记录。模型最多建议动作和对象 ID。删除需额外核对审批绑定的资源版本和有效期。

python
from dataclasses import dataclass

PERMISSIONS = {"viewer":{"read_order"}, "admin":{"read_order","delete_order"}}

@dataclass(frozen=True)
class Principal:
    user: str
    tenant: str
    role: str

@dataclass(frozen=True)
class Resource:
    tenant: str
    order_id: str
    version: int

@dataclass(frozen=True)
class Approval:
    user: str
    action: str
    resource: Resource
    expires_at: int

def authorize(principal, action, resource, approval, now):
    if action not in PERMISSIONS.get(principal.role,set()) or principal.tenant != resource.tenant:
        return "permission_denied"
    if action == "delete_order" and (
        approval is None or approval.user != principal.user or approval.action != action
        or approval.resource != resource or now >= approval.expires_at
    ):
        return "confirmation_required"
    return "allowed"

admin = Principal("admin-a","tenant-a","admin")
viewer = Principal("viewer-a","tenant-a","viewer")
order = Resource("tenant-a","A100",7)
approval = Approval("admin-a","delete_order",order,200)
print(authorize(viewer,"read_order",order,None,199))
print(authorize(viewer,"delete_order",order,approval,199))
print(authorize(admin,"delete_order",Resource("tenant-b","A100",7),approval,199))
print(authorize(admin,"delete_order",Resource("tenant-a","A100",8),approval,199))
print(authorize(admin,"delete_order",order,approval,200))
print(authorize(admin,"delete_order",order,approval,199))

输出依次为 allowed、permission_denied、permission_denied、confirmation_required、confirmation_required、allowed。应用应在执行写入时再次校验资源版本,并在事务或服务端条件更新中拒绝过期版本,避免校验和执行之间被改动。该示例仅计算是否授权。真实服务还须处理审批撤回、重试幂等和对目标资源的精细授权。

控制敏感数据的流动

敏感数据最好在进入模型上下文前就做最小化。工具层只返回完成当前任务所需的字段,例如订单查询可能需要状态和时间,却不一定需要完整手机号、证件号或内部备注。减少模型能够看到的数据,比事后要求模型“不要输出”更可靠。

对必须返回的敏感字段,可以在工具结果进入模型之前脱敏;最终回答再做一次内容检查,阻止凭据、密钥、内部标识符或受限文本泄露。两层检查解决的问题不同:前者减少模型可见信息,后者处理模型自行组合或生成的风险内容。

给高风险动作增加人机门禁

删除数据、支付、转账、对外发信、修改权限等动作不应由一次模型决策直接执行。安全路径通常包含风险识别、参数展示、人工确认、再次鉴权、执行和审计。确认结果必须绑定到具体动作和关键参数,不能把一次笼统的“我确认”长期复用于后续操作。

审计日志至少应记录发起主体、Agent 选择的动作、实际调用的工具、关键参数摘要、授权结果以及最终状态。发生事故后,应能区分是模型提出了错误计划、策略错误放行,还是下游工具执行失败。

安全设计的核心是把“模型建议做什么”和“系统允许做什么”彻底分开。模型可以负责规划与选择,但工具权限、数据边界、高风险确认和最终拒绝必须由独立、可测试、可审计的确定性机制执行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实施安全与权限控制

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通