大模型应用开发 / 系统课时
设计低置信拒答与澄清
设计低置信拒答与澄清
RAG 系统即使检索到了文档,也不代表已经拥有足够证据回答。低召回质量、候选难分、证据缺口或业务规则阻断都可能让生成结果变成猜测。本节把这些信号组合成可解释的回答、澄清和人工服务三段式策略。
学习目标
- 理解召回分数、重排差距、证据覆盖度和规则命中的不同职责
- 设计直接回答、澄清和拒答转人工的分层决策
- 用可观测的规则验证低置信策略,而不是只依赖模型自报置信度
低置信不能只看一个相似度阈值
召回分数高,只说明查询和某段文档在检索空间中接近,不等于文档足以支持完整答案。不同向量模型、索引和查询类型产生的分数分布也可能不同,因此不能把一个未经校准的固定阈值复制到所有场景。
重排差距关注第一名和第二名候选是否容易区分。若两份候选得分非常接近,而且答案结论不同,系统应降低确定性。证据覆盖度则回答另一个问题:用户的问题包含多个条件时,当前证据是否真正覆盖了生成答案所需的关键主张。
规则命中结果属于硬约束。例如命中“必须人工核验”“账户状态未知”或知识冲突标记时,即使检索和重排分数很高,也不应该直接生成确定性答案。它与软分数的区别在于:硬规则可以直接改变路由结果。
把信号变成可解释的决策闸门
一个实用策略可以先执行硬规则,再计算经过校准的软置信度。高置信且证据覆盖充分时直接回答;中间区域优先提出一个能够缩小歧义的澄清问题;低置信或存在不可恢复风险时拒绝猜测,并进入人工服务。
这里的关键不是追求一个“完美总分”,而是保证每次路由都能解释。例如可以记录“召回尚可,但证据只覆盖退款时限,未覆盖特殊商品条件”,这比只保存 confidence=0.53 更容易排查和优化。

用可运行规则实现三段式路由
下面用一个简化示例演示组合决策。权重和阈值只是教学值,生产环境应通过已标注问答集校准,并分别观察正确回答率、误拒率和不安全回答率。
def decide_route(recall: float, rerank_gap: float, coverage: float, rule_block: bool):
# 硬规则优先于任何软置信分数,避免高相似度绕过业务限制。
if rule_block:
return "人工服务", 0.0
gap_signal = min(max(rerank_gap / 0.20, 0.0), 1.0)
score = 0.35 * recall + 0.25 * gap_signal + 0.40 * coverage
# 覆盖不足时,即使综合分不低,也先通过澄清补齐条件。
if coverage < 0.50:
return "澄清问题", score
if score >= 0.75:
return "直接回答", score
if score >= 0.55:
return "澄清问题", score
return "拒答并转人工", score
cases = {
"A": (0.82, 0.12, 0.80, False),
"B": (0.66, 0.10, 0.55, False),
"C": (0.90, 0.18, 0.90, True),
}
for name, values in cases.items():
route, score = decide_route(*values)
print(f"{name}: {route} (score={score:.3f})")预期输出:
A: 直接回答 (score=0.757)
B: 澄清问题 (score=0.576)
C: 人工服务 (score=0.000)这个示例刻意让案例 C 在软信号很强时仍进入人工服务,用来体现规则优先级。实际落地时还应先对各信号做归一化或概率校准,否则来自不同模型的原始分数直接加权没有稳定意义。
澄清问题必须能改变下一次检索
澄清不是一句泛化的“请提供更多信息”。系统应找出造成低置信的缺失条件,并提出最小问题。例如用户问“这个能退吗”,检索证据同时区分普通商品和定制商品,那么有效澄清应是“这是普通商品还是定制商品?”,回答后可以把该条件带入下一轮检索。
只有在用户能够提供信息并且该信息确实可能消除歧义时,才适合澄清。若缺失的是内部订单状态、授权审批结果或知识库本身没有覆盖的规定,让用户反复补充并不能解决问题,此时应直接进入人工服务或业务系统查询流程。
用线上指标检查拒答策略是否失衡
低置信策略上线后不能只看拒答率。拒答率过低可能意味着系统仍在强行生成,过高则可能让大量本可回答的问题流向人工。更有价值的是同时抽样检查直接回答的证据支持率、澄清后的成功回答率、人工升级命中率以及错误自信回答的比例。
每次决策还应记录路由结果、触发原因、各信号值和证据引用。这样当阈值调整后,团队可以离线重放历史请求,比较新旧策略会让哪些问题从“直接回答”移动到“澄清”或“人工服务”,再决定是否发布,而不是在线上凭感觉修改阈值。