大模型应用开发 / 系统课时
优化切分与检索参数
优化切分与检索参数
RAG 参数优化的目标不是把某个指标调到最高,而是在固定评测集上找出更稳定的组合。需要同时观察片段长度、重叠、召回数量、过滤条件和重排序阈值,确认每次改动究竟改善了召回、精度还是上下文成本。
学习目标
- 设计一次可比较的参数实验
- 理解切分、召回、过滤和重排序参数之间的联动
- 用固定评测集选择稳定参数,而不是凭单个问答案例判断
先固定评测条件
参数对比前先冻结文档版本、评测问题集和评分规则。否则一次实验换了切分参数,下一次又换了文档或问题,最终差异就无法归因。
至少记录三类结果:正确证据是否进入候选、最终上下文中的噪声比例、答案是否满足任务。小型项目可以先用“包含答案证据的片段是否进入保留集合”作为离线指标,再结合人工答案评分。
用参数组合做最小对比
下面的可运行示例对片段长度、重叠、top_k、语言过滤和重排序阈值做一组小型对照实验。字符重合分数只用于演示实验方法,生产环境应替换为真实检索器和重排序器。
docs = [
{"lang": "zh", "text": "退款说明:银行卡退款通常需要三到七个工作日到账。"},
{"lang": "zh", "text": "开票说明:订单完成后可以申请电子发票。"},
{"lang": "en", "text": "Card refunds usually take three to seven business days."},
]
cases = [
{"query": "银行卡退款多久到账", "answer": "三到七个工作日"},
{"query": "订单完成后能否开发票", "answer": "可以申请电子发票"},
]
def chunk(text, size, overlap):
step = size - overlap
return [text[i:i + size] for i in range(0, len(text), step)]
def score(query, text):
# 示例分数只衡量字符重合,用来保持实验可运行且可解释。
return sum(1 for ch in set(query) if ch in text)
def evaluate(chunk_size, overlap, top_k, filter_lang, threshold):
chunks = []
for doc in docs:
if filter_lang and doc["lang"] != filter_lang:
continue
for text in chunk(doc["text"], chunk_size, overlap):
chunks.append(text)
hits = 0
for case in cases:
ranked = sorted(chunks, key=lambda x: score(case["query"], x), reverse=True)
kept = [x for x in ranked[:top_k] if score(case["query"], x) >= threshold]
hits += any(case["answer"] in text for text in kept)
return hits / len(cases)
# 每组只改变待比较参数,文档与评测问题保持不变。
configs = [
("baseline", 12, 0, 1, None, 1),
("longer", 24, 0, 1, None, 1),
("overlap", 12, 6, 1, None, 1),
("more-recall", 12, 6, 3, None, 1),
("zh-filter", 12, 6, 3, "zh", 1),
("strict-rerank", 12, 6, 3, "zh", 4),
]
for name, size, overlap, top_k, lang, threshold in configs:
recall = evaluate(size, overlap, top_k, lang, threshold)
print(name, f"{recall:.2f}")预期输出
baseline 0.00
longer 1.00
overlap 0.00
more-recall 1.00
zh-filter 1.00
strict-rerank 0.50这个结果只说明参数会联动:更长片段保留了完整证据;单独增加重叠没有保证 top-1 命中;扩大候选数后证据重新进入保留集合;阈值过严又删除了一部分证据。真实项目必须在更大的固定评测集上重复同样流程,不能直接照抄这些数值。
分别理解参数的代价
片段长度决定一个 chunk 能携带多少局部上下文。过短会把问题与答案拆开,过长则混入更多无关信息并占用上下文窗口。重叠用于缓解边界切断,但过大的重叠会制造重复候选,使召回数量看似增加,实际信息却高度相似。
top_k 太小可能漏掉正确证据,太大则增加重排序成本并向提示词注入噪声。过滤条件适合使用语言、租户、产品版本或权限范围等可靠元数据;过滤过严会在召回前直接排除正确文档。
重排序阈值用于去掉相关性不足的候选。阈值过低会留下噪声,过高则可能删除边缘但必要的证据。它必须和 top_k 联合观察:候选池扩大后通常需要更强筛选,但筛选增强也可能抵消新增召回。
用对照结果决定上线参数
推荐先固定检索器和重排序器,只比较 chunk 长度与 overlap;确定较稳的切分后,再比较 top_k 和过滤条件;最后调整重排序阈值。每次实验都保存参数、证据召回率、答案评分和上下文 token 数,确保收益没有靠更高成本换来。
参数优化的最终产物不是一个“神奇数值”,而是一组经过固定评测集验证、知道收益与失效边界的检索配置。