大模型应用开发 / 系统课时

优化性能与成本

优化性能与成本

本节解决 RAG 系统在规模增长后出现的响应变慢、资源消耗增加和调用成本升高问题。通过批量嵌入、连接复用、缓存、并发控制和上下文压缩,可以在保证效果的同时降低系统压力。

学习目标

  • 理解 RAG 性能瓶颈产生的位置
  • 掌握常见资源优化策略和实现方式
  • 能够通过缓存与并发控制提升服务稳定性

分析 RAG 性能消耗来源

RAG 系统的主要开销通常来自三个阶段:文档处理阶段的 embedding 计算,查询阶段的向量检索,以及生成阶段的大模型调用。

优化时不能只关注单个接口响应时间,而需要观察整个链路的资源消耗,包括 CPU、内存、网络请求次数和模型调用数量。

使用批量嵌入减少计算开销

文档入库时,如果逐条调用 embedding 模型,会产生大量重复请求。批量处理可以减少网络开销,并提高模型吞吐能力。

python
from openai import OpenAI

client = OpenAI()

texts = ["文档片段 A", "文档片段 B", "文档片段 C"]

# 一次提交多个文本,减少请求次数
response = client.embeddings.create(
    model="text-embedding-3-small",
    input=texts
)

print(len(response.data))

预期输出

text
3

批量大小需要根据模型限制和服务器资源调整,过大的批次可能导致内存压力增加。

复用连接与缓存查询结果

RAG 查询中存在大量重复问题,例如知识库中的常见问题。缓存可以避免重复执行检索和生成流程。

python
cache = {}

query = "如何重置账号密码"

if query in cache:
    result = cache[query]
else:
    result = "执行检索并生成答案"
    cache[query] = result

print(result)

预期输出

text
执行检索并生成答案

实际项目中通常使用 Redis 等外部缓存,而不是仅依赖进程内存,以支持多实例部署。

控制并发保护系统稳定

当请求量快速增加时,所有请求同时访问模型服务会造成资源耗尽。并发限制可以保护系统,让请求排队而不是直接失败。

python
import asyncio

limit = asyncio.Semaphore(10)

async def handle_request(task):
    async with limit:
        return await task

预期结果

text
同时执行的任务数量不会超过 10 个。

限制值需要根据模型响应时间、服务器规格和业务峰值压测确定。

压缩上下文降低模型调用成本

检索结果过多会增加输入 Token 数量,导致延迟和费用增加。上下文压缩的目标是在保留关键信息的同时减少无效内容。常见方式包括:

  • 降低召回数量,只保留高相关文档
  • 使用重排序模型筛选结果
  • 合并重复片段
  • 删除无关上下文信息

优化不是简单减少文本,而是在准确率和成本之间找到平衡。

建立性能优化验证流程

优化后需要通过指标验证效果,例如平均响应时间、Token 消耗、缓存命中率和错误率。

bash
curl -X GET http://localhost:<PORT>/metrics

预期输出

text
rag_request_duration_seconds
rag_cache_hit_total
rag_token_usage_total

指标能够帮助判断优化是否真正改善系统,而不是只依靠用户主观感受。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

优化性能与成本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通