大模型应用开发 / 系统课时

压缩检索上下文

压缩检索上下文

在 RAG 系统中,检索结果可能包含大量重复或弱相关文本,直接发送给模型会浪费令牌并降低回答质量。本课介绍如何从长片段中提取最有价值的信息,生成更短、更精准的上下文。

学习目标

  • 理解上下文压缩解决的问题和基本流程
  • 掌握基于相关性的文本筛选方法
  • 能够实现简单的上下文压缩流程

为什么需要上下文压缩

向量检索通常返回多个候选片段,但片段内部可能只有少量内容真正回答用户问题。如果全部拼接到提示词中,会增加输入成本,还可能让模型关注无关信息。

上下文压缩的目标不是简单截断文本,而是在保留答案依据的前提下减少噪声。常见做法包括句子级筛选、段落级裁剪、摘要压缩和模型辅助提取。

基于相关性的句子筛选

一种简单有效的方法是先拆分文档片段,再计算每个句子与查询的相关度,只保留超过阈值的内容。下面示例使用关键词交集模拟相关性评分,实际项目中可以替换为嵌入模型计算。

python
from typing import List

def compress_context(query: str, sentences: List[str], threshold: float = 0.5) -> List[str]:
    """保留与查询关键词匹配度较高的句子。"""
    query_words = set(query.lower().split())
    selected = []

    for sentence in sentences:
        words = set(sentence.lower().split())
        score = len(query_words & words) / max(len(query_words), 1)
        if score >= threshold:
            selected.append(sentence)

    return selected

context = [
    "RAG 系统通过检索增强生成提升回答准确性",
    "数据库索引可以提升查询速度",
    "上下文压缩能够减少模型输入长度"
]

print(compress_context("RAG 上下文压缩", context))

预期输出

text
['RAG 系统通过检索增强生成提升回答准确性', '上下文压缩能够减少模型输入长度']

常见压缩策略

不同场景需要选择不同压缩方式。短文本知识库通常使用句子筛选即可,而长文档问答更适合结合重排序模型和摘要模型。

策略 处理对象 特点
句子筛选 句子 速度快,适合快速过滤
段落裁剪 段落 保持上下文连续性
摘要压缩 长文档 信息密度高,但需要额外推理成本
模型提取 候选片段 准确率高,成本较高

压缩时的边界问题

压缩上下文时不能只追求长度最小。过度删除可能丢失定义、条件和限制信息,导致模型产生错误答案。

实际系统通常会设置最低保留比例,并保留来源信息,使模型仍然可以引用原始知识。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

压缩检索上下文

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通