大模型应用开发 / 系统课时

本地推理的工作流程

本地推理的工作流程

学习目标

完成本课后,你将能够:

  • 描述一次本地模型请求从输入到输出的完整链路
  • 区分模型下载、模型加载和文本生成三个阶段
  • 解释 Token、上下文窗口和 KV Cache 在推理中的作用
  • 根据不同阶段判断首次请求慢、持续占用内存等现象的原因

一次请求经历哪些阶段

用户在终端输入问题,或应用向 Ollama API 发送请求后,通常会经历以下阶段:

  1. 定位目标模型。
  2. 检查本地是否已有模型文件。
  3. 将模型权重加载到系统内存或显存。
  4. 按模型模板组织系统消息、历史消息和当前问题。
  5. 将文本转换为 Token。
  6. 执行预填充计算,处理已有上下文。
  7. 逐个生成新的 Token。
  8. 将 Token 解码为文本并流式返回。
  9. 根据驻留策略保留或卸载模型。

Ollama 本地推理请求流程

阶段一:定位和获取模型

请求中必须指定模型名称。Ollama 首先检查本地模型存储中是否存在对应名称和标签。

如果模型已经存在,可以进入加载阶段。如果模型不存在,使用 ollama run 时通常会先拉取模型;通过 API 请求一个本地不存在的模型时,则可能直接返回模型不存在错误,需要先执行下载。模型下载与模型运行是两个不同动作:

动作 主要工作 典型资源
下载模型 从模型仓库获取清单和数据分层并写入磁盘 网络、磁盘
加载模型 将模型权重映射或复制到可用内存 系统内存、显存
执行推理 对输入进行计算并逐步生成 Token CPU、GPU、内存带宽

因此,下载完成只说明磁盘上已有模型文件,不代表模型已经进入内存。

阶段二:加载模型权重

模型开始运行时,Ollama 会根据模型大小、量化等级、可用显存和硬件支持情况决定权重放置位置。常见状态包括:

  • 完全加载到 GPU 显存
  • 部分加载到 GPU,剩余部分位于系统内存
  • 完全使用 CPU 和系统内存

模型加载会产生明显的启动延迟。第一次请求通常比后续请求慢,是因为第一次请求可能同时包含模型加载和上下文预填充。模型在内存中保持驻留时,后续请求可以跳过大部分加载过程。可以使用以下命令查看当前已加载模型:

bash
ollama ps

预期输出示例:

text
NAME       ID          SIZE      PROCESSOR    CONTEXT    UNTIL
<MODEL>    <MODEL_ID>  <SIZE>    <PROCESSOR>  <CONTEXT>  <UNTIL>

实际列名和内容可能随 Ollama 版本变化。重点检查模型名称、处理器分布和预计卸载时间。

阶段三:组装提示词

应用提交的内容不一定会原样送入模型。Ollama 会根据模型模板,将以下信息组织成模型能够识别的输入格式:

  • 系统消息
  • 历史用户消息
  • 历史助手消息
  • 当前用户问题
  • 工具定义或图片信息
  • 模型要求的特殊起止标记

不同模型使用的模板可能不同。直接把一个模型的模板套到另一个模型上,可能导致角色混乱、输出异常或无法正确停止生成。

阶段四:文本转换为 Token

模型不直接处理汉字或英文单词,而是处理 Token ID。分词器会把文本拆成模型词表中的单元,再转换为数字。

例如,“本地模型部署”可能被拆成多个 Token,但具体拆分结果取决于模型使用的分词器,不能简单理解为“一个汉字等于一个 Token”或“一个英文单词等于一个 Token”。Token 数量会直接影响:

  • 上下文占用
  • 预填充时间
  • KV Cache 大小
  • 可继续生成的长度
  • 请求成本和吞吐量

阶段五:Prefill 预填充

预填充阶段会一次性处理系统提示词、历史消息和当前输入,建立后续生成需要的内部状态。

输入越长,预填充计算通常越多。长文档问答首字返回慢,往往不是模型“没有开始工作”,而是模型正在处理大量输入 Token。预填充阶段关注两个指标:

  • 首字延迟:从提交请求到收到第一个输出 Token 的时间
  • 输入处理速度:每秒处理多少输入 Token

阶段六:Decode 逐 Token 生成

预填充完成后,模型开始逐步预测下一个 Token。每生成一个 Token,都要结合当前上下文继续计算,再把新 Token 加入上下文。

这一阶段通常决定用户看到的持续输出速度。生成速度常用“每秒输出 Token 数”衡量。

流式输出并不代表模型一次生成了整段文本。更常见的过程是:

text
预测下一个 Token
→ 更新上下文状态
→ 返回新增内容
→ 再预测下一个 Token
→ 直到遇到停止条件

停止条件可能包括:

  • 生成结束标记
  • 命中停止词
  • 达到最大输出长度
  • 客户端取消请求
  • 服务端异常
  • 上下文达到限制

上下文窗口与 KV Cache

上下文窗口限制一次推理可以处理的 Token 总量。总量通常包括系统提示词、历史消息、当前输入和已经生成的输出。

KV Cache 保存注意力计算中的中间结果,使模型生成后续 Token 时不必重复计算全部历史内容。它能提升生成效率,但会消耗内存或显存。上下文越长,通常意味着:

  • 可以保留更多历史信息
  • 预填充时间增加
  • KV Cache 占用增加
  • 可支持的并发请求减少
  • 发生内存不足的概率上升

因此,不应在所有任务中盲目把上下文设置到设备可支持的最大值。

流式返回与完整返回

Ollama API 通常可以逐块返回生成结果,也可以关闭流式响应后一次返回完整结果。

方式 优点 代价
流式返回 用户更早看到内容,适合聊天界面 客户端需要持续解析数据块
完整返回 解析简单,适合短任务和自动化处理 必须等待生成结束后才能看到内容

流式返回只改变结果传输方式,不会降低模型实际需要的计算量。

模型何时被卸载

请求完成后,Ollama 可以让模型继续驻留一段时间,以减少下一次请求的加载延迟。也可以立即卸载模型,释放内存和显存。这形成一个典型取舍:

  • 保持驻留:后续请求更快,但持续占用资源
  • 立即卸载:释放资源,但下一次请求需要重新加载

可以使用以下命令主动停止已加载模型:

bash
ollama stop <MODEL>

预期结果:

text
命令正常结束,随后执行 ollama ps 时不再显示 <MODEL>。

<MODEL> 替换为实际模型名称。

根据现象定位阶段

现象 优先检查的阶段
模型下载长时间没有进度 网络、模型仓库、磁盘空间
首次请求很慢,后续请求明显变快 模型加载、首次预填充
输入文档越长,首字越慢 Token 数量、预填充、上下文
输出开始后速度一直较慢 Decode 计算、GPU 使用情况、模型规模
请求结束后显存仍被占用 模型驻留策略
对话进行一段时间后忘记早期内容 上下文窗口、历史裁剪
直接返回模型不存在 本地模型清单、名称和标签

本课练习

练习 1:绘制请求链路

任务目标:掌握本地推理阶段。初始条件:一个聊天应用通过 API 向本机 Ollama 提交问题。

实现要求:画出从请求进入到结果返回的流程,并标出磁盘、内存、显存和网络分别在哪些阶段参与。

验收条件:至少包含模型定位、加载、Token 化、预填充、生成和返回六个阶段。

练习 2:分析首次请求慢

任务目标:区分模型加载和文本生成耗时。初始条件:同一个模型第一次响应需要 18 秒,第二次只需要 4 秒,输入内容相同。实现要求:给出最可能原因,并设计验证步骤。

验收条件:验证步骤必须包含 ollama ps、模型驻留状态和重复请求对比。

练习 3:优化长对话

任务目标:理解上下文增长的影响。初始条件:对话轮数增加后,首字延迟持续上升,显存占用也增加。

实现要求:提出历史裁剪、摘要、上下文长度和会话重建方面的优化方案。

验收条件:至少给出 3 项措施,并说明每项措施解决的具体问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

本地推理的工作流程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通