大模型应用开发 / 系统课时
压缩检索上下文
压缩检索上下文
在 RAG 系统中,检索结果可能包含大量重复或弱相关文本,直接发送给模型会浪费令牌并降低回答质量。本课介绍如何从长片段中提取最有价值的信息,生成更短、更精准的上下文。
学习目标
- 理解上下文压缩解决的问题和基本流程
- 掌握基于相关性的文本筛选方法
- 能够实现简单的上下文压缩流程
为什么需要上下文压缩
向量检索通常返回多个候选片段,但片段内部可能只有少量内容真正回答用户问题。如果全部拼接到提示词中,会增加输入成本,还可能让模型关注无关信息。
上下文压缩的目标不是简单截断文本,而是在保留答案依据的前提下减少噪声。常见做法包括句子级筛选、段落级裁剪、摘要压缩和模型辅助提取。
基于相关性的句子筛选
一种简单有效的方法是先拆分文档片段,再计算每个句子与查询的相关度,只保留超过阈值的内容。下面示例使用关键词交集模拟相关性评分,实际项目中可以替换为嵌入模型计算。
python
from typing import List
def compress_context(query: str, sentences: List[str], threshold: float = 0.5) -> List[str]:
"""保留与查询关键词匹配度较高的句子。"""
query_words = set(query.lower().split())
selected = []
for sentence in sentences:
words = set(sentence.lower().split())
score = len(query_words & words) / max(len(query_words), 1)
if score >= threshold:
selected.append(sentence)
return selected
context = [
"RAG 系统通过检索增强生成提升回答准确性",
"数据库索引可以提升查询速度",
"上下文压缩能够减少模型输入长度"
]
print(compress_context("RAG 上下文压缩", context))预期输出
text
['RAG 系统通过检索增强生成提升回答准确性', '上下文压缩能够减少模型输入长度']常见压缩策略
不同场景需要选择不同压缩方式。短文本知识库通常使用句子筛选即可,而长文档问答更适合结合重排序模型和摘要模型。
| 策略 | 处理对象 | 特点 |
|---|---|---|
| 句子筛选 | 句子 | 速度快,适合快速过滤 |
| 段落裁剪 | 段落 | 保持上下文连续性 |
| 摘要压缩 | 长文档 | 信息密度高,但需要额外推理成本 |
| 模型提取 | 候选片段 | 准确率高,成本较高 |
压缩时的边界问题
压缩上下文时不能只追求长度最小。过度删除可能丢失定义、条件和限制信息,导致模型产生错误答案。
实际系统通常会设置最低保留比例,并保留来源信息,使模型仍然可以引用原始知识。
按自己的节奏,确认真正理解。