AI Agent / 系统课时

防御提示词注入

防御提示词注入

提示词注入的核心风险,是把网页、文档、邮件等外部内容误当成可执行指令。本节建立一套可落地的防线:把外部内容降为不可信数据,并在模型之外校验工具权限,让恶意文本无法直接扩大 Agent 的能力边界。

学习目标

  • 区分系统规则、用户任务与外部不可信内容的信任级别
  • 用最小权限和服务端授权阻断越权工具调用
  • 设计可重复的注入测试,验证防线是否只停留在提示词层面

先划清可信边界

应用的授权配置决定 Agent 能做什么,用户输入描述本次任务,检索到的网页、附件和工具返回值只应被视为数据。即使外部文本写着“忽略之前规则”或“调用删除工具”,它也不应获得更高优先级,更不能改变服务器端权限。

提示词注入的信任边界与工具授权链路

仅靠“请忽略外部指令”这样的提示词并不可靠。分隔符、结构化标签或引用块可以帮助模型理解边界,但它们只是语义提示;真正的权限边界必须由应用代码强制执行。

把工具权限放到模型之外

授权上下文由已认证的应用建立,资源范围来自实际权限查询。以下示例只允许读取当前任务已经授权的文档。模型可以生成任何提案,但提案本身不会修改可信上下文。

python
from dataclasses import dataclass

@dataclass(frozen=True)
class Access:
    task: str
    readable_documents: frozenset[str]

def authorize(access, proposal):
    if not isinstance(proposal, dict) or access.task != "summarize" or proposal.get("tool") != "read_document":
        return False
    args = proposal.get("arguments")
    return (isinstance(args, dict) and set(args) == {"id"}
            and isinstance(args["id"], str) and args["id"] in access.readable_documents)

access = Access("summarize", frozenset({"doc-own"}))
for proposal in (
    {"tool": "read_document", "arguments": {"id": "doc-own"}},
    {"tool": "delete_record", "arguments": {"id": "doc-own"}},
    {"tool": "read_document", "arguments": {"id": "doc-other"}},
    {"tool": "read_document", "arguments": {"id": "doc-own", "admin": True}},
):
    print(authorize(access, proposal))

四行依次输出 True、False、False、False。第三行使用的是允许的工具,但目标文档越权。真实工具端仍须依据请求身份复核授权,尤其在权限可能变化时。若还提供发送能力,应另行限制允许外发的字段和目的地,防止读取权限被组合成数据外传。

隔离外部内容而不是清洗关键词

不要试图通过删除“ignore”“system prompt”等关键词解决注入问题。攻击文本可以换语言、拆词或用间接表达绕过规则。更稳妥的做法是保留原始内容,将其放进明确的“不可信资料”区域,并告诉模型只提取完成任务所需的事实。

对于检索增强 Agent,还应限制一次送入模型的内容范围,只提供与当前任务相关的片段。这样既减少无关指令进入上下文,也降低模型被长文本牵引的概率。

用攻击样例验证防线

测试时不要只看模型“是否拒绝了攻击语句”,还要验证系统行为。至少覆盖三类样例:外部文档要求覆盖系统规则、外部文本诱导调用未授权工具、合法任务夹带越权参数。通过条件应是未授权调用在服务端被拒绝,且不会产生真实副作用。

如果某次防护只能依赖模型“自觉不听”,它就不是可靠的安全边界。把提示词隔离、最小权限、参数校验和高风险确认叠加起来,才能让注入攻击即使影响了模型文本,也难以转化成实际越权操作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

防御提示词注入

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通