大模型应用开发 / 系统课时

性能与成本优化

性能与成本优化

本课建立一条可执行的优化路径:先测量延迟与 Token,再减少重复调用和无效上下文,最后通过批处理与模型分级提升吞吐。目标不是盲目追求最低价格,而是在质量、响应时间、并发能力和费用之间取得可验证的平衡。

学习目标

  • 区分首字延迟、总耗时、吞吐量和 Token 成本
  • 使用模型缓存与 batch 处理重复或独立请求
  • 根据任务难度选择模型,并通过回归样例验证质量

先建立可比较的基线

每次优化前固定一组代表性输入,记录端到端耗时、模型耗时、输入与输出 Token、成功率和答案质量。成本可概括为“输入 Token 费用加输出 Token 费用”,但实际单价由提供商和模型决定,不能只用请求次数估算。

LangChain 性能与成本优化漏斗

优先处理最明显的浪费:重复请求、重复嵌入、过长历史消息、无关检索文档和不必要的多轮 Agent 循环。只有确认瓶颈位于模型调用后,缓存或换模型才会产生预期收益。

使用缓存与批处理

下面对完全相同的直接模型调用启用进程内缓存,并用 batch 并行处理三个互相独立的问题。示例需要配置 MODEL_NAME 和对应提供商的 API Key;进程内缓存仅适合本地验证,生产环境应换成可共享且有淘汰策略的缓存。

python
import os

from langchain.chat_models import init_chat_model
from langchain_core.caches import InMemoryCache
from langchain_core.globals import set_llm_cache

def main() -> None:
    model = init_chat_model(os.environ["MODEL_NAME"], temperature=0)
    set_llm_cache(InMemoryCache())

    prompt = "用一句话说明什么是向量检索。"
    first = model.invoke(prompt)
    second = model.invoke(prompt)
    print(first.content == second.content)

    prompts = [
        "用一句话说明缓存命中。",
        "用一句话说明批处理。",
        "用一句话说明模型路由。",
    ]
    responses = model.batch(
        prompts,
        config={"max_concurrency": 3},
    )
    print(len(responses))
    print(all(bool(item.content) for item in responses))

if __name__ == "__main__":
    main()

预期输出:

text
True
3
True

第一次相同请求会访问模型,第二次可复用缓存结果。batch 的默认实现通常在客户端并行发起独立调用,它不同于提供商专用的离线批量 API;并发数仍要受限流、连接池和下游容量约束。

按收益顺序选择手段

先裁剪无关上下文与历史消息,因为它同时降低延迟和输入费用;再缓存确定性高、重复率高且允许短期复用的结果;随后把互相独立的分类、抽取或评测任务批量处理。对于简单分类、格式转换和路由,可尝试较小模型;复杂推理或高风险输出再升级模型。

缓存键必须包含会影响结果的模型名、Prompt 版本、温度、工具版本和业务权限范围。用户数据或实时价格等内容需要短 TTL 或直接禁用缓存。Agent 内部消息可能包含动态状态,不能假设所有 Agent 调用都能稳定命中普通模型缓存。

用质量回归决定是否上线

任何降本方案都要在固定样例集上比较准确率、格式通过率、工具调用成功率和人工评分。只有费用下降而质量不退化到业务阈值以下,才算有效优化。建议把基线与优化版本放在同一追踪项目中,用标签区分版本,避免凭主观感受判断。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

性能与成本优化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通