AI Agent / 系统课时
优化成本与速度
优化成本与速度
本课解决智能体运行成本高、响应慢的问题,通过模型分层、缓存复用、并行执行和上下文优化,让 Agent 在保持效果的同时减少无效消耗。
学习目标
- 理解智能体成本与速度的主要来源。
- 掌握模型分层、缓存和并行执行的优化方式。
- 能设计基础的 Agent 性能优化策略。
分析智能体性能瓶颈
智能体的成本主要来自模型调用次数、输入上下文长度、工具执行时间和重复计算。速度问题通常不是单一组件导致,而是多个环节累积产生。
一次任务执行链路中,需求理解、计划生成、源码检索、工具调用和结果总结都可能触发模型请求。如果每一步都使用最高能力模型,会造成成本浪费;如果每次都重新读取全部上下文,则会增加延迟。
优化前需要先区分主要消耗来源:模型费用关注 token 数量,速度关注等待时间,稳定性关注重复失败和无效重试。
使用模型分层降低调用成本
模型分层的核心思想是让不同难度任务使用不同能力等级的模型。简单分类、格式转换、摘要生成等任务可以使用轻量模型;复杂规划和代码修改再交给高能力模型。
一个常见策略如下:
- 意图识别、简单问答使用快速模型。
- 项目分析、复杂推理使用高能力模型。
- 最终代码审查使用稳定模型保证质量。
智能体可以在任务路由阶段决定模型选择,例如:
modelRouting:
classify:
model: fast-model
planning:
model: reasoning-model
codeReview:
model: quality-model配置生效后,不同阶段会根据任务类型选择对应模型,从而减少所有请求统一使用高成本模型的情况。
通过缓存减少重复计算
缓存适合保存不会频繁变化的结果,例如项目索引、文件摘要、工具查询结果和任务上下文摘要。
缓存设计需要明确失效条件。源码发生变化时,相关索引和摘要必须重新计算,否则 Agent 可能基于旧信息做决策。
一个简单的缓存记录可以包含资源标识和版本信息:
{
"resourceId": "project-index",
"version": "<ID>",
"createdAt": "<TIME>",
"status": "valid"
}预期结果
缓存命中时直接返回已有结果;版本变化时重新生成缓存。并行只读工具调用
部分工具之间不存在依赖关系,可以并行执行。例如分析多个文件、查询多个符号引用、读取多个只读配置。
并行策略可以减少等待时间,但修改类操作仍需要保持顺序,避免产生状态冲突。
async function collectContext(files: string[]) {
// 只读分析任务可以并发执行
const results = await Promise.all(
files.map((file) => analyzeFile(file))
);
return results;
}预期结果
多个文件分析任务同时执行,整体等待时间接近最慢任务耗时。减少无效上下文
上下文越长并不代表效果越好。大量无关源码、历史消息和重复工具结果会降低模型关注重点的能力。
优化上下文时,应优先保留:
- 当前任务目标。
- 必要源码片段。
- 最近执行结果。
- 与修改直接相关的项目事实。
可以通过摘要、索引定位和按需读取替代一次性加载整个项目。
最终的性能优化目标不是单纯减少 token,而是在正确的位置使用正确资源,让 Agent 用更少的计算完成可靠任务。