大模型应用开发 / 系统课时

评估与优化知识库

评估与优化知识库

学习目标

完成本课后,你将能够:

  • 建立包含有答案与无答案问题的评测集
  • 分别测量检索召回和最终回答质量
  • 分析切分、嵌入、Top K 和提示词的影响
  • 使用错误分类驱动优化而不是盲目换模型

评测集组成

评测集应来自真实业务,并包含:

  • 单文档直接答案
  • 多文档综合答案
  • 精确编号和版本问题
  • 同义表达问题
  • 长问题
  • 无答案问题
  • 权限受限问题
  • 文档已更新问题
  • 容易混淆的相近概念

每个问题应标注期望文档、关键答案点和是否应拒答。

检索指标

常见指标:

指标 含义
Recall@K 正确文档是否出现在前 K 个结果
MRR 第一个正确结果的排名质量
Precision@K 前 K 中相关结果比例
无答案误召回率 库外问题是否仍返回高相关结果
重复率 结果中重复或相邻块比例
权限违规率 是否召回无权文档

检索评测不需要调用生成模型,可以单独快速运行。

回答指标

端到端回答可评估:

  • 关键事实覆盖率
  • 引用正确率
  • 引用完整率
  • grounded 状态
  • 无答案拒答率
  • 格式通过率
  • 回答一致性
  • 延迟与 Token
  • 人工可读性

高风险领域还需要专家审核。

评测记录格式

保存每次结果:

json
{
  "question_id": "q-001",
  "question": "<QUESTION>",
  "expected_chunk_ids": ["<CHUNK_ID>"],
  "retrieved": [
    {"chunk_id": "<CHUNK_ID>", "score": 0.0}
  ],
  "answer": "<ANSWER>",
  "citations": ["<CHUNK_ID>"],
  "grounded": true,
  "latency_ms": 0,
  "config": {
    "chunk_size": 0,
    "overlap": 0,
    "embedding_model": "<MODEL>",
    "top_k": 0,
    "generation_model": "<MODEL>"
  }
}

数值字段为结构占位,真实评测必须记录实际值。

错误分类

先分类再优化:

  1. 文档缺失:数据源没有答案。
  2. 解析错误:PDF、表格或 OCR 丢失内容。
  3. 切分错误:条件与结论分离。
  4. 嵌入错误:语义召回不足。
  5. 过滤错误:权限或元数据排除正确文档。
  6. 排序错误:正确块排名太低。
  7. 提示词错误:模型忽略资料。
  8. 生成错误:引用错误或编造。
  9. 更新错误:旧索引未删除。

直接更换生成模型无法修复前六类问题。

优化顺序

推荐顺序:

  1. 修复缺失与解析。
  2. 调整切分和元数据。
  3. 校准向量模型和混合检索。
  4. 调整 Top K、阈值和重排。
  5. 优化上下文拼接与引用格式。
  6. 最后比较生成模型和采样参数。

每次只改变少量变量,并保留基线结果。

A/B 对比

对比配置时固定:

  • 评测问题
  • 文档版本
  • 权限
  • 生成模型或检索模型中的另一部分
  • 硬件环境
  • 随机参数

报告应包含整体指标和失败样例。平均分上升可能掩盖关键问题退化。

持续评测

知识库变化后自动触发:

  • 解析检查
  • 索引数量检查
  • 关键问题回归
  • 无答案测试
  • 权限测试
  • 引用链接测试
  • 延迟和资源监控

上线后收集用户反馈,但不能把点击率直接当作事实正确率。

本课练习

练习 1:建立 30 题评测集

任务目标:覆盖不同问题类型。输入或初始条件:准备真实文档。实现要求:标注正确来源、答案点和拒答

验收条件:至少包含 5 个无答案和 5 个权限问题。

练习 2:比较两种切分

任务目标:定位召回差异。输入或初始条件:同一嵌入模型和问题集。实现要求:只改变块大小与重叠

验收条件:报告 Recall@K、重复率和典型失败。

练习 3:建立回归门槛

任务目标:防止更新退化。输入或初始条件:已有基线指标。实现要求:定义上线最低召回、引用和拒答率。验收条件:不达标的索引版本不能发布。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估与优化知识库

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通