大模型应用开发 / 系统课时

审核生成内容

审核生成内容

生成式模型的回答不能直接等同于可发布内容。应用需要在模型输出和真实业务动作之间增加审核层,对违法、攻击性、危险性以及违反业务规则的内容分类,并根据风险执行放行、拦截或人工复核,而不是只返回一个简单的“安全或不安全”。

学习目标

  • 把内容安全审核拆成检测、决策和处置三个阶段
  • 为不同风险类别配置放行、阻断和人工审核策略
  • 验证审核逻辑不会因为模型生成成功就绕过业务安全门禁

审核层应位于业务动作之前

内容审核通常至少涉及用户输入、模型生成结果、审核器和业务系统四个对象。输入审核可以减少恶意请求进入模型,输出审核则决定生成结果是否能展示、发送通知、发布评论或触发下游工具。

生成内容审核与业务门禁流程

检测器回答“这段内容包含哪些风险信号”,策略层回答“当前产品遇到这种风险应该怎么处理”。两者分开后,同一检测结果可以在客服、社区、代码助手等不同场景采用不同规则,也更容易审计策略变更。

用三态决策代替单一布尔值

下面用一个最小 Python 程序演示审核门禁。规则故意保持简单,重点是建立检测与决策分离的结构,而不是把关键词匹配当成完整的生产审核系统。

python
from dataclasses import dataclass
from enum import Enum


class Action(str, Enum):
    ALLOW = "ALLOW"
    REVIEW = "REVIEW"
    BLOCK = "BLOCK"


@dataclass
class ModerationResult:
    action: Action
    reason: str


def moderate(text: str) -> ModerationResult:
    normalized = text.lower()

    # 高风险信号直接阻断;业务违规但语义不确定时进入人工复核。
    if "明确违法操作" in normalized or "危险操作指导" in normalized:
        return ModerationResult(Action.BLOCK, "high_risk_content")
    if "辱骂" in normalized or "违反业务规范" in normalized:
        return ModerationResult(Action.REVIEW, "policy_violation")
    return ModerationResult(Action.ALLOW, "no_risk_detected")


def main() -> None:
    samples = [
        "这是一段普通产品说明。",
        "这段文本违反业务规范,需要进一步判断。",
        "请求提供危险操作指导。",
    ]
    for text in samples:
        result = moderate(text)
        print(f"{result.action.value}: {result.reason}")


if __name__ == "__main__":
    main()

预期输出

text
ALLOW: no_risk_detected
REVIEW: policy_violation
BLOCK: high_risk_content

生产环境通常会把关键词规则、分类模型或专业审核服务组合使用,并保留风险类别、置信度、策略版本和最终动作等审计字段。审核失败、超时或返回无法解析的结果时,也必须有明确的失败策略,不能默认按安全内容放行。

按风险设计处置动作

违法或高危险内容通常应直接阻断,并返回不包含原始危险细节的安全提示。攻击性、骚扰性或边界不明确的业务违规内容,可以根据产品场景选择阻断或进入人工复核。企业内部还可能额外限制泄密、品牌表述、合规声明和未经授权的承诺。

自动审核尤其要防止“检测到了风险却仍继续执行”的逻辑错误。生成文本如果还会驱动发邮件、创建工单、修改数据或调用外部工具,审核门禁必须位于这些副作用之前;被标记为 BLOCK 或 REVIEW 的结果不应继续调用下游执行接口。

验证审核链路是否真的生效

验收时不要只测试明显违规样本,还应覆盖正常内容、边界内容、多个风险同时出现、审核服务超时以及审核器异常等情况。正常样本应尽量减少误拦截,高风险样本必须无法到达业务执行层,边界样本应进入预先定义的复核流程。

同时记录审核决策而不是完整危险文本:例如请求标识、风险类别、动作、审核器版本和时间。这样既能分析误判和漏判,也能避免安全日志再次保存不必要的敏感或违规内容。

可靠的生成内容审核最终体现为一道明确的业务门禁:模型负责生成候选结果,审核器负责识别风险,策略层决定动作,只有被明确允许的内容才能进入展示、发布或其他具有副作用的业务流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

审核生成内容

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通