AI Agent / 系统课时

优化成本与速度

优化成本与速度

本课解决智能体运行成本高、响应慢的问题,通过模型分层、缓存复用、并行执行和上下文优化,让 Agent 在保持效果的同时减少无效消耗。

学习目标

  • 理解智能体成本与速度的主要来源。
  • 掌握模型分层、缓存和并行执行的优化方式。
  • 能设计基础的 Agent 性能优化策略。

分析智能体性能瓶颈

智能体的成本主要来自模型调用次数、输入上下文长度、工具执行时间和重复计算。速度问题通常不是单一组件导致,而是多个环节累积产生。

一次任务执行链路中,需求理解、计划生成、源码检索、工具调用和结果总结都可能触发模型请求。如果每一步都使用最高能力模型,会造成成本浪费;如果每次都重新读取全部上下文,则会增加延迟。

优化前需要先区分主要消耗来源:模型费用关注 token 数量,速度关注等待时间,稳定性关注重复失败和无效重试。

使用模型分层降低调用成本

模型分层的核心思想是让不同难度任务使用不同能力等级的模型。简单分类、格式转换、摘要生成等任务可以使用轻量模型;复杂规划和代码修改再交给高能力模型。

一个常见策略如下:

  • 意图识别、简单问答使用快速模型。
  • 项目分析、复杂推理使用高能力模型。
  • 最终代码审查使用稳定模型保证质量。

智能体可以在任务路由阶段决定模型选择,例如:

yaml
modelRouting:
  classify:
    model: fast-model
  planning:
    model: reasoning-model
  codeReview:
    model: quality-model

配置生效后,不同阶段会根据任务类型选择对应模型,从而减少所有请求统一使用高成本模型的情况。

通过缓存减少重复计算

缓存适合保存不会频繁变化的结果,例如项目索引、文件摘要、工具查询结果和任务上下文摘要。

缓存设计需要明确失效条件。源码发生变化时,相关索引和摘要必须重新计算,否则 Agent 可能基于旧信息做决策。

一个简单的缓存记录可以包含资源标识和版本信息:

json
{
  "resourceId": "project-index",
  "version": "<ID>",
  "createdAt": "<TIME>",
  "status": "valid"
}

预期结果

text
缓存命中时直接返回已有结果;版本变化时重新生成缓存。

并行只读工具调用

部分工具之间不存在依赖关系,可以并行执行。例如分析多个文件、查询多个符号引用、读取多个只读配置。

并行策略可以减少等待时间,但修改类操作仍需要保持顺序,避免产生状态冲突。

ts
async function collectContext(files: string[]) {
  // 只读分析任务可以并发执行
  const results = await Promise.all(
    files.map((file) => analyzeFile(file))
  );
  return results;
}

预期结果

text
多个文件分析任务同时执行,整体等待时间接近最慢任务耗时。

减少无效上下文

上下文越长并不代表效果越好。大量无关源码、历史消息和重复工具结果会降低模型关注重点的能力。

优化上下文时,应优先保留:

  • 当前任务目标。
  • 必要源码片段。
  • 最近执行结果。
  • 与修改直接相关的项目事实。

可以通过摘要、索引定位和按需读取替代一次性加载整个项目。

最终的性能优化目标不是单纯减少 token,而是在正确的位置使用正确资源,让 Agent 用更少的计算完成可靠任务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

优化成本与速度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通