大模型应用开发 / 系统课时
评估与优化知识库
评估与优化知识库
学习目标
完成本课后,你将能够:
- 建立包含有答案与无答案问题的评测集
- 分别测量检索召回和最终回答质量
- 分析切分、嵌入、Top K 和提示词的影响
- 使用错误分类驱动优化而不是盲目换模型
评测集组成
评测集应来自真实业务,并包含:
- 单文档直接答案
- 多文档综合答案
- 精确编号和版本问题
- 同义表达问题
- 长问题
- 无答案问题
- 权限受限问题
- 文档已更新问题
- 容易混淆的相近概念
每个问题应标注期望文档、关键答案点和是否应拒答。
检索指标
常见指标:
| 指标 | 含义 |
|---|---|
| Recall@K | 正确文档是否出现在前 K 个结果 |
| MRR | 第一个正确结果的排名质量 |
| Precision@K | 前 K 中相关结果比例 |
| 无答案误召回率 | 库外问题是否仍返回高相关结果 |
| 重复率 | 结果中重复或相邻块比例 |
| 权限违规率 | 是否召回无权文档 |
检索评测不需要调用生成模型,可以单独快速运行。
回答指标
端到端回答可评估:
- 关键事实覆盖率
- 引用正确率
- 引用完整率
- grounded 状态
- 无答案拒答率
- 格式通过率
- 回答一致性
- 延迟与 Token
- 人工可读性
高风险领域还需要专家审核。
评测记录格式
保存每次结果:
json
{
"question_id": "q-001",
"question": "<QUESTION>",
"expected_chunk_ids": ["<CHUNK_ID>"],
"retrieved": [
{"chunk_id": "<CHUNK_ID>", "score": 0.0}
],
"answer": "<ANSWER>",
"citations": ["<CHUNK_ID>"],
"grounded": true,
"latency_ms": 0,
"config": {
"chunk_size": 0,
"overlap": 0,
"embedding_model": "<MODEL>",
"top_k": 0,
"generation_model": "<MODEL>"
}
}数值字段为结构占位,真实评测必须记录实际值。
错误分类
先分类再优化:
- 文档缺失:数据源没有答案。
- 解析错误:PDF、表格或 OCR 丢失内容。
- 切分错误:条件与结论分离。
- 嵌入错误:语义召回不足。
- 过滤错误:权限或元数据排除正确文档。
- 排序错误:正确块排名太低。
- 提示词错误:模型忽略资料。
- 生成错误:引用错误或编造。
- 更新错误:旧索引未删除。
直接更换生成模型无法修复前六类问题。
优化顺序
推荐顺序:
- 修复缺失与解析。
- 调整切分和元数据。
- 校准向量模型和混合检索。
- 调整 Top K、阈值和重排。
- 优化上下文拼接与引用格式。
- 最后比较生成模型和采样参数。
每次只改变少量变量,并保留基线结果。
A/B 对比
对比配置时固定:
- 评测问题
- 文档版本
- 权限
- 生成模型或检索模型中的另一部分
- 硬件环境
- 随机参数
报告应包含整体指标和失败样例。平均分上升可能掩盖关键问题退化。
持续评测
知识库变化后自动触发:
- 解析检查
- 索引数量检查
- 关键问题回归
- 无答案测试
- 权限测试
- 引用链接测试
- 延迟和资源监控
上线后收集用户反馈,但不能把点击率直接当作事实正确率。
本课练习
练习 1:建立 30 题评测集
任务目标:覆盖不同问题类型。输入或初始条件:准备真实文档。实现要求:标注正确来源、答案点和拒答
验收条件:至少包含 5 个无答案和 5 个权限问题。
练习 2:比较两种切分
任务目标:定位召回差异。输入或初始条件:同一嵌入模型和问题集。实现要求:只改变块大小与重叠
验收条件:报告 Recall@K、重复率和典型失败。
练习 3:建立回归门槛
任务目标:防止更新退化。输入或初始条件:已有基线指标。实现要求:定义上线最低召回、引用和拒答率。验收条件:不达标的索引版本不能发布。
按自己的节奏,确认真正理解。