AI Agent / 系统课时
实施安全与权限控制
实施安全与权限控制
Agent 的风险来自“模型可以决定下一步做什么”,因此安全控制不能只依赖提示词提醒。本课把工具权限、敏感数据、输出内容和高风险动作拆成独立控制面,并用可运行的权限策略说明如何让关键约束无法被模型绕过。
学习目标
- 用最小权限原则限制 Agent 可见工具和可执行动作
- 在输入、工具调用、数据返回和最终输出位置设置独立安全检查
- 为删除、转账、发信等高风险动作增加确认、鉴权和审计门禁
把权限边界放在模型之外
系统可以在提示词中告诉模型“禁止删除数据”,但真正的安全边界必须位于工具执行器、数据访问层或网关。即使模型受到提示注入、误判意图或生成错误参数,确定性的权限检查仍应在真正产生副作用之前阻止越权操作。
最小权限通常同时约束三个维度:主体是谁、允许调用哪个工具、允许操作什么资源。仅判断“这个 Agent 能调用某个工具”仍然不够,还需要限制租户、资源范围、数据分类以及动作发生时必须满足的附加条件。

用策略代码拒绝越权动作
下面的授权函数接收宿主已认证的主体、服务端读到的当前资源及可信审批记录。模型最多建议动作和对象 ID。删除需额外核对审批绑定的资源版本和有效期。
from dataclasses import dataclass
PERMISSIONS = {"viewer":{"read_order"}, "admin":{"read_order","delete_order"}}
@dataclass(frozen=True)
class Principal:
user: str
tenant: str
role: str
@dataclass(frozen=True)
class Resource:
tenant: str
order_id: str
version: int
@dataclass(frozen=True)
class Approval:
user: str
action: str
resource: Resource
expires_at: int
def authorize(principal, action, resource, approval, now):
if action not in PERMISSIONS.get(principal.role,set()) or principal.tenant != resource.tenant:
return "permission_denied"
if action == "delete_order" and (
approval is None or approval.user != principal.user or approval.action != action
or approval.resource != resource or now >= approval.expires_at
):
return "confirmation_required"
return "allowed"
admin = Principal("admin-a","tenant-a","admin")
viewer = Principal("viewer-a","tenant-a","viewer")
order = Resource("tenant-a","A100",7)
approval = Approval("admin-a","delete_order",order,200)
print(authorize(viewer,"read_order",order,None,199))
print(authorize(viewer,"delete_order",order,approval,199))
print(authorize(admin,"delete_order",Resource("tenant-b","A100",7),approval,199))
print(authorize(admin,"delete_order",Resource("tenant-a","A100",8),approval,199))
print(authorize(admin,"delete_order",order,approval,200))
print(authorize(admin,"delete_order",order,approval,199))输出依次为 allowed、permission_denied、permission_denied、confirmation_required、confirmation_required、allowed。应用应在执行写入时再次校验资源版本,并在事务或服务端条件更新中拒绝过期版本,避免校验和执行之间被改动。该示例仅计算是否授权。真实服务还须处理审批撤回、重试幂等和对目标资源的精细授权。
控制敏感数据的流动
敏感数据最好在进入模型上下文前就做最小化。工具层只返回完成当前任务所需的字段,例如订单查询可能需要状态和时间,却不一定需要完整手机号、证件号或内部备注。减少模型能够看到的数据,比事后要求模型“不要输出”更可靠。
对必须返回的敏感字段,可以在工具结果进入模型之前脱敏;最终回答再做一次内容检查,阻止凭据、密钥、内部标识符或受限文本泄露。两层检查解决的问题不同:前者减少模型可见信息,后者处理模型自行组合或生成的风险内容。
给高风险动作增加人机门禁
删除数据、支付、转账、对外发信、修改权限等动作不应由一次模型决策直接执行。安全路径通常包含风险识别、参数展示、人工确认、再次鉴权、执行和审计。确认结果必须绑定到具体动作和关键参数,不能把一次笼统的“我确认”长期复用于后续操作。
审计日志至少应记录发起主体、Agent 选择的动作、实际调用的工具、关键参数摘要、授权结果以及最终状态。发生事故后,应能区分是模型提出了错误计划、策略错误放行,还是下游工具执行失败。
安全设计的核心是把“模型建议做什么”和“系统允许做什么”彻底分开。模型可以负责规划与选择,但工具权限、数据边界、高风险确认和最终拒绝必须由独立、可测试、可审计的确定性机制执行。