大模型应用开发 / 系统课时
优化性能与成本
优化性能与成本
本节解决 RAG 系统在规模增长后出现的响应变慢、资源消耗增加和调用成本升高问题。通过批量嵌入、连接复用、缓存、并发控制和上下文压缩,可以在保证效果的同时降低系统压力。
学习目标
- 理解 RAG 性能瓶颈产生的位置
- 掌握常见资源优化策略和实现方式
- 能够通过缓存与并发控制提升服务稳定性
分析 RAG 性能消耗来源
RAG 系统的主要开销通常来自三个阶段:文档处理阶段的 embedding 计算,查询阶段的向量检索,以及生成阶段的大模型调用。
优化时不能只关注单个接口响应时间,而需要观察整个链路的资源消耗,包括 CPU、内存、网络请求次数和模型调用数量。
使用批量嵌入减少计算开销
文档入库时,如果逐条调用 embedding 模型,会产生大量重复请求。批量处理可以减少网络开销,并提高模型吞吐能力。
python
from openai import OpenAI
client = OpenAI()
texts = ["文档片段 A", "文档片段 B", "文档片段 C"]
# 一次提交多个文本,减少请求次数
response = client.embeddings.create(
model="text-embedding-3-small",
input=texts
)
print(len(response.data))预期输出
text
3批量大小需要根据模型限制和服务器资源调整,过大的批次可能导致内存压力增加。
复用连接与缓存查询结果
RAG 查询中存在大量重复问题,例如知识库中的常见问题。缓存可以避免重复执行检索和生成流程。
python
cache = {}
query = "如何重置账号密码"
if query in cache:
result = cache[query]
else:
result = "执行检索并生成答案"
cache[query] = result
print(result)预期输出
text
执行检索并生成答案实际项目中通常使用 Redis 等外部缓存,而不是仅依赖进程内存,以支持多实例部署。
控制并发保护系统稳定
当请求量快速增加时,所有请求同时访问模型服务会造成资源耗尽。并发限制可以保护系统,让请求排队而不是直接失败。
python
import asyncio
limit = asyncio.Semaphore(10)
async def handle_request(task):
async with limit:
return await task预期结果
text
同时执行的任务数量不会超过 10 个。限制值需要根据模型响应时间、服务器规格和业务峰值压测确定。
压缩上下文降低模型调用成本
检索结果过多会增加输入 Token 数量,导致延迟和费用增加。上下文压缩的目标是在保留关键信息的同时减少无效内容。常见方式包括:
- 降低召回数量,只保留高相关文档
- 使用重排序模型筛选结果
- 合并重复片段
- 删除无关上下文信息
优化不是简单减少文本,而是在准确率和成本之间找到平衡。
建立性能优化验证流程
优化后需要通过指标验证效果,例如平均响应时间、Token 消耗、缓存命中率和错误率。
bash
curl -X GET http://localhost:<PORT>/metrics预期输出
text
rag_request_duration_seconds
rag_cache_hit_total
rag_token_usage_total指标能够帮助判断优化是否真正改善系统,而不是只依靠用户主观感受。
按自己的节奏,确认真正理解。