大模型应用开发 / 系统课时

优化切分与检索参数

优化切分与检索参数

RAG 参数优化的目标不是把某个指标调到最高,而是在固定评测集上找出更稳定的组合。需要同时观察片段长度、重叠、召回数量、过滤条件和重排序阈值,确认每次改动究竟改善了召回、精度还是上下文成本。

学习目标

  • 设计一次可比较的参数实验
  • 理解切分、召回、过滤和重排序参数之间的联动
  • 用固定评测集选择稳定参数,而不是凭单个问答案例判断

先固定评测条件

参数对比前先冻结文档版本、评测问题集和评分规则。否则一次实验换了切分参数,下一次又换了文档或问题,最终差异就无法归因。

至少记录三类结果:正确证据是否进入候选、最终上下文中的噪声比例、答案是否满足任务。小型项目可以先用“包含答案证据的片段是否进入保留集合”作为离线指标,再结合人工答案评分。

用参数组合做最小对比

下面的可运行示例对片段长度、重叠、top_k、语言过滤和重排序阈值做一组小型对照实验。字符重合分数只用于演示实验方法,生产环境应替换为真实检索器和重排序器。

python
docs = [
    {"lang": "zh", "text": "退款说明:银行卡退款通常需要三到七个工作日到账。"},
    {"lang": "zh", "text": "开票说明:订单完成后可以申请电子发票。"},
    {"lang": "en", "text": "Card refunds usually take three to seven business days."},
]
cases = [
    {"query": "银行卡退款多久到账", "answer": "三到七个工作日"},
    {"query": "订单完成后能否开发票", "answer": "可以申请电子发票"},
]

def chunk(text, size, overlap):
    step = size - overlap
    return [text[i:i + size] for i in range(0, len(text), step)]

def score(query, text):
    # 示例分数只衡量字符重合,用来保持实验可运行且可解释。
    return sum(1 for ch in set(query) if ch in text)

def evaluate(chunk_size, overlap, top_k, filter_lang, threshold):
    chunks = []
    for doc in docs:
        if filter_lang and doc["lang"] != filter_lang:
            continue
        for text in chunk(doc["text"], chunk_size, overlap):
            chunks.append(text)

    hits = 0
    for case in cases:
        ranked = sorted(chunks, key=lambda x: score(case["query"], x), reverse=True)
        kept = [x for x in ranked[:top_k] if score(case["query"], x) >= threshold]
        hits += any(case["answer"] in text for text in kept)
    return hits / len(cases)

# 每组只改变待比较参数,文档与评测问题保持不变。
configs = [
    ("baseline", 12, 0, 1, None, 1),
    ("longer", 24, 0, 1, None, 1),
    ("overlap", 12, 6, 1, None, 1),
    ("more-recall", 12, 6, 3, None, 1),
    ("zh-filter", 12, 6, 3, "zh", 1),
    ("strict-rerank", 12, 6, 3, "zh", 4),
]

for name, size, overlap, top_k, lang, threshold in configs:
    recall = evaluate(size, overlap, top_k, lang, threshold)
    print(name, f"{recall:.2f}")

预期输出

text
baseline 0.00
longer 1.00
overlap 0.00
more-recall 1.00
zh-filter 1.00
strict-rerank 0.50

这个结果只说明参数会联动:更长片段保留了完整证据;单独增加重叠没有保证 top-1 命中;扩大候选数后证据重新进入保留集合;阈值过严又删除了一部分证据。真实项目必须在更大的固定评测集上重复同样流程,不能直接照抄这些数值。

分别理解参数的代价

片段长度决定一个 chunk 能携带多少局部上下文。过短会把问题与答案拆开,过长则混入更多无关信息并占用上下文窗口。重叠用于缓解边界切断,但过大的重叠会制造重复候选,使召回数量看似增加,实际信息却高度相似。

top_k 太小可能漏掉正确证据,太大则增加重排序成本并向提示词注入噪声。过滤条件适合使用语言、租户、产品版本或权限范围等可靠元数据;过滤过严会在召回前直接排除正确文档。

重排序阈值用于去掉相关性不足的候选。阈值过低会留下噪声,过高则可能删除边缘但必要的证据。它必须和 top_k 联合观察:候选池扩大后通常需要更强筛选,但筛选增强也可能抵消新增召回。

用对照结果决定上线参数

推荐先固定检索器和重排序器,只比较 chunk 长度与 overlap;确定较稳的切分后,再比较 top_k 和过滤条件;最后调整重排序阈值。每次实验都保存参数、证据召回率、答案评分和上下文 token 数,确保收益没有靠更高成本换来。

参数优化的最终产物不是一个“神奇数值”,而是一组经过固定评测集验证、知道收益与失效边界的检索配置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

优化切分与检索参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通