大模型原理与训练 / 知识点
大模型从选型到部署术语速查
压缩显存并规划并行
通过分片训练状态减少数据并行冗余的技术体系;用于区分参数、梯度和优化器状态的显存来源,二者分片策略与阶段不能简单一一等同。Hugging Face
FSDP 与 ZeRO
FSDP 与 ZeRO 都通过把原本在数据并行副本中重复保存的训练状态拆分到多个进程或设备,降低单卡显存压力;它们解决的是相似问题,但抽象层、实现方式和“阶段”定义不能简单一一对应。
成立边界
讨论二者时要先区分三类主要训练状态:参数、梯度、优化器状态。传统数据并行通常让每个进程各自持有这些状态的完整副本;分片方案则让每个进程只长期保存其中一部分,并在计算需要时通过通信临时聚合或交换。
FSDP 通常指 PyTorch 的 Fully Sharded Data Parallel 体系;ZeRO 指把数据并行中的冗余状态逐步分片的一类方法及其工程实现。两者都可能同时涉及通信、参数聚合、重分片和混合精度,因此不能只凭“都省显存”判断配置等价。
与普通数据并行的区别
| 方式 | 长期保存的训练状态 | 主要代价 |
|---|---|---|
| 普通数据并行 | 每个进程通常保留完整副本 | 显存冗余高,逻辑简单 |
| FSDP | 可对参数、梯度及优化器状态进行分片 | 需要额外通信与聚合 |
| ZeRO | 按其具体阶段逐步减少不同状态的副本 | 阶段越深入,通信与实现约束通常越多 |
最小算例
下面只是说明“完整复制”和“理想完全分片”的容量差异,不代表真实训练显存;真实占用还包括激活、临时通信缓冲区、碎片和框架开销。
states_gb = {
"parameters": 8,
"gradients": 8,
"optimizer": 16,
}
world_size = 4
replicated_total = sum(states_gb.values())
ideal_shard_per_rank = replicated_total / world_size
print(f"replicated per rank: {replicated_total:.0f} GB")
print(f"ideal sharded per rank: {ideal_shard_per_rank:.0f} GB")预期输出:
replicated per rank: 32 GB
ideal sharded per rank: 8 GB这个结果只表达容量上界关系:若三类状态都平均分到 4 个进程,每个进程长期持有的这部分状态理论上约为原来的四分之一;它不表示实际训练一定只占 8 GB。
常见误解
最常见的误解是把“分片级别”当成跨框架通用编号。判断两套方案是否等价时,应逐项核对参数、梯度、优化器状态、卸载策略和检查点行为,而不是把名称或阶段号直接对齐。
把暂不使用的权重、训练状态或缓存移到主存等较慢存储;用于理解显存不足时的容量权衡,节省显存通常需要付出传输或等待代价。Hugging Face
卸载(Offloading)
卸载是把暂时不必留在高带宽设备显存中的权重、梯度、优化器状态或缓存迁移到 CPU 内存,某些系统还可进一步使用更慢的存储层级,以显存容量换取传输和等待成本。
成立边界
卸载只有在“目标层级容量更大,但访问更慢”的前提下有意义。训练或推理仍需要这些数据时,系统必须把它们重新取回或让计算改在目标设备上完成,因此节省显存并不等于减少总内存,也不等于提升速度。
是否值得卸载取决于工作集大小、PCIe 或其他互连带宽、数据复用频率、计算与传输能否重叠,以及目标层级是否会成为新的容量瓶颈。
与分片和量化的区别
| 技术 | 主要动作 | 主要目标 |
|---|---|---|
| 卸载 | 把数据迁移到更慢但更大的存储层级 | 腾出设备显存 |
| 分片 | 把同一类状态拆到多个进程或设备 | 减少每个副本持有的份额 |
| 量化 | 用更低位宽表示数据 | 降低单份数据的存储与带宽成本 |
三者可以组合使用。例如状态既可以先分片,再把每个分片中的部分内容卸载到 CPU;这与“只做卸载”不是同一件事。
最小例子
下面用 PyTorch 演示把一个 CUDA 张量移动到 CPU。它只是“数据从显存迁到主存”的最小例子,不代表完整训练框架的自动卸载策略。
import torch
if not torch.cuda.is_available():
print("CUDA unavailable; offload example skipped")
else:
gpu_tensor = torch.ones((1024, 1024), device="cuda")
cpu_tensor = gpu_tensor.to("cpu")
del gpu_tensor
torch.cuda.empty_cache()
print(cpu_tensor.device)有 CUDA 时的预期输出:
cpu没有 CUDA 时的预期输出:
CUDA unavailable; offload example skipped实际训练中的卸载通常还要处理预取、回传、异步拷贝和状态一致性,因此不能用一次 to("cpu") 推断真实吞吐表现。
常见误解
“显存不够就开启卸载”不是无代价修复。若每一步都频繁搬运大块状态,互连带宽或 CPU 内存会成为瓶颈;若卸载对象选择不当,还可能增加训练停顿。应把它理解为容量换带宽和延迟的权衡,而不是免费扩容。
优化推断并解释服务指标
预填充处理已有上下文,解码在其基础上继续生成词元;用于区分长输入与长输出的耗时来源,两阶段的瓶颈和调度需求可能不同。arXiv
预填充与解码
**预填充(prefill)**是模型一次处理已有输入上下文并建立后续生成所需中间状态的阶段;**解码(decode)**是在这些状态基础上逐步生成新词元的阶段。区分二者,可以判断延迟主要来自长输入还是长输出,并解释为什么两种负载需要不同的批处理与调度策略。
阶段边界
一次典型自回归推断先对提示词执行预填充,再进入解码。预填充会处理当前已有的多个输入词元,并产生各层后续需要使用的注意力键和值;解码则根据已有上下文生成下一个词元,把新词元对应的状态继续加入上下文,然后重复这一过程,直到停止条件满足。

性能含义
预填充可以同时处理提示词中的多个位置,通常具有较高的并行计算空间;解码存在逐词元依赖,每一步都必须基于此前状态继续生成。实际瓶颈会随模型结构、批大小、上下文长度、硬件和推断框架改变,不能简单认定某个阶段始终由计算或显存带宽主导。
因此,长输入主要增加预填充工作量,长输出则会增加解码迭代次数。首词元延迟通常包含预填充成本,而完整响应时间还会持续累积解码耗时。
与相邻概念的区别
| 概念 | 关注点 |
|---|---|
| 预填充 | 处理请求到达时已经存在的输入上下文 |
| 解码 | 在已有上下文上继续产生新词元 |
| KV Cache | 保存已处理词元的注意力键和值,供后续阶段复用 |
| 批处理 | 把多个请求或序列组织在一起执行,不等同于某个推断阶段 |
预填充和解码描述的是推断阶段;KV Cache 是贯穿这些阶段使用的数据结构;批处理与调度则决定多个请求如何共享执行资源。
最小例子
若请求包含 4000 个输入词元并生成 20 个新词元,模型先对约 4000 个已有词元执行预填充,然后执行约 20 轮解码。若改为输入 100 个词元、生成 1000 个新词元,前者的预填充压力更大,而后者会把更多时间消耗在持续解码上。
常见误解是把“生成第一个词元”也视为与后续所有词元完全相同的工作。第一个输出出现前通常还必须完成输入上下文的预填充,因此分析服务延迟时应分别观察输入长度、首词元延迟和后续生成速度。
保存已处理词元的注意力键和值以减少重复计算;用于理解长上下文推断显存,它不是最终答案缓存,容量还受并发量与模型结构影响。Hugging Face
键值缓存(KV Cache)
**键值缓存(KV Cache)**是在自回归 Transformer 推断中保存已处理词元对应注意力 Key 和 Value 张量的数据结构,使后续生成新词元时可以复用这些中间结果,而不必为旧词元反复计算同一组 Key 和 Value。
边界
KV Cache 保存的是注意力计算需要的中间状态,不是模型生成的最终答案,也不是通用的请求结果缓存。新词元进入模型后,会产生新的 Key 和 Value 并追加到相应序列的缓存中;后续词元计算注意力时,再读取此前已经保存的内容。

缓存通常随仍在服务中的序列和上下文增长而占用更多设备内存。实际容量不仅取决于词元数量,还与模型层数、每层保存的 K/V 维度、KV 头数量、数据精度、并发序列数量以及推断框架的内存管理方式有关,因此不能只凭“上下文窗口长度”推断固定显存占用。
与相邻概念的区别
| 概念 | 缓存的内容 | 主要目的 |
|---|---|---|
| KV Cache | 已处理词元的注意力 Key 与 Value | 避免自回归解码时重复计算旧词元的 K/V |
| 最终答案缓存 | 完整请求对应的响应结果 | 命中相同或等价请求时直接复用结果 |
| 前缀缓存 | 可被请求共享的相同前缀及其可复用推断状态 | 减少多个请求对共同前缀的重复处理 |
KV Cache 并不自动意味着不同请求能够共享缓存。是否支持跨请求的前缀复用,以及如何判定相同前缀,取决于具体推断系统的缓存策略。
最小例子
假设模型已经处理序列“A B C”。生成下一个词元时,有 KV Cache 的实现可以直接读取 A、B、C 已保存的 Key 和 Value,只为当前新位置计算新的状态;生成再下一个词元时,又继续复用此前缓存并追加新状态。
若同时服务更多长上下文请求,需要保留的 K/V 状态也会随活跃序列增加,因此 KV Cache 往往成为推断并发量与可用显存之间的重要约束。
常见误解是把 KV Cache 当成“问过一次,下次直接返回答案”的缓存。它真正复用的是模型内部注意力状态;即使已有 KV Cache,模型仍需执行后续解码计算才能产生新的词元。
在生成迭代之间动态加入新请求并移除已完成请求的调度方式;用于理解在线推断吞吐优化,不要求整批请求一起结束,也不保证延迟更低。Hugging Face
连续批处理
连续批处理(Continuous Batching)是在大模型逐 token 生成过程中,允许调度器在相邻生成迭代之间加入新请求、移除已完成请求,使当前批次成员可以持续变化的在线推断调度方式。
边界
它成立的关键不是“同时处理很多请求”,而是批次不必固定到所有请求都结束。某个序列生成完毕后,其计算槽位可较快释放给等待中的请求;长请求也不必迫使已经完成的短请求继续占位。

连续批处理通常用于自回归生成阶段,因为每生成一个 token 都会形成新的调度机会。它可以提高设备利用率和整体吞吐,但实际效果仍受模型大小、序列长度、KV Cache、显存容量和调度策略影响,因此不能直接等同于“单请求延迟一定更低”。
与固定批处理和动态批处理的区别
| 概念 | 批次成员是否持续变化 | 主要关注点 |
|---|---|---|
| 固定批处理 | 通常不变化,整批共同推进 | 离线吞吐与实现简单性 |
| 动态批处理 | 常在执行前按等待窗口临时组批 | 减少小请求造成的设备空闲 |
| 连续批处理 | 可在生成迭代之间加入和移除请求 | 在线生成阶段的持续利用率 |
不同推断框架可能对“动态批处理”和“连续批处理”的命名有所重叠。判断时应看具体调度行为,而不是只看产品名称。
最小例子
下面是调度轨迹示意,不是可执行代码:
迭代 0:A、B 各生成一个 token
迭代 1:A 完成并退出;B 继续;C 加入
迭代 2:B、C 各生成一个 token这里最重要的现象是:C 不必等待 B 完整生成结束才开始执行,A 完成后也不会继续占用批次位置。
常见误解
常见误解是把连续批处理理解为“把 batch size 调大”。固定大批次只改变同时处理的请求数量;连续批处理改变的是生成期间请求进入和退出批次的调度方式。另一个误区是只看吞吐提升就推断所有延迟指标都会改善,实际还应分别观察排队时间、首 token 延迟和后续 token 间隔。
通过分块与减少显存读写提高注意力计算效率的算法;用于理解算子级优化,它仍计算精确注意力,不等于删掉上下文或改用稀疏注意力。arXiv
FlashAttention
FlashAttention 是一种面向注意力算子的 IO-aware 优化方法:通过分块计算和减少 GPU 高带宽显存与片上存储之间的数据搬运,在不改变标准注意力计算定义的前提下提高执行效率。
它优化的到底是什么
标准注意力可写成 。朴素实现通常需要形成较大的中间注意力矩阵,并在不同计算阶段反复访问显存。FlashAttention 则按块读取 Q、K、V,在片上更快的存储空间中完成局部计算,同时利用在线 softmax 等方法逐步合并结果,从而减少中间结果的显存读写。

因此,FlashAttention 的收益不是固定常数。实际效果会受到 GPU 架构、数据类型、序列长度、head dimension、批量规模、后端实现以及具体 FlashAttention 版本影响。即使框架提供同名开关,也不意味着所有输入形状都会使用相同的优化内核。
与其他注意力优化的边界
FlashAttention、稀疏注意力和 KV Cache 优化解决的问题不同,判断时应先看它改变的是计算路径、连接模式还是缓存管理。
| 概念 | 主要处理对象 | 是否主动减少注意力连接 |
|---|---|---|
| FlashAttention | 注意力算子的 IO、分块和执行方式 | 否 |
| 稀疏注意力 | 注意力连接模式与参与计算的位置 | 通常是 |
| PagedAttention | 推理服务中的 KV Cache 内存组织 | 否 |
所以,“用了 FlashAttention”不能直接等同于“缩短上下文”,也不能把它理解成 PagedAttention 的另一种实现。
用一个最小流程抓住核心
下面是用于建立心智模型的片段示例,不是可执行程序;重点是比较两种实现如何处理中间结果。
片段示例:
标准实现:计算 QK^T → 形成较大的注意力中间结果 → softmax → 与 V 相乘
FlashAttention:按块读取 Q/K/V → 在片上完成局部注意力与在线归并 → 写回最终输出预期结果
两种实现都以标准注意力公式得到同类输出;FlashAttention 主要改变计算与数据搬运方式,而不是改变允许参与注意力计算的 token 范围。由于并行归约和浮点运算顺序可能不同,实际结果允许出现正常的浮点舍入差异。因此,“精确注意力”应理解为没有人为截断或稀疏化注意力连接,而不是保证逐 bit 完全一致。
常见误解
最典型的误解是把 FlashAttention 的提速归因于“少看一些 token”。这种做法更接近稀疏注意力、局部注意力或其他减少计算连接的策略。FlashAttention 的核心价值在于降低内存访问成本,并让 GPU 更高效地执行原本的注意力计算。
在阅读框架文档或性能报告时,看到 FlashAttention 还应继续确认实际使用的内核、输入形状和硬件条件,而不要仅凭一个开关名称判断性能结果。
以分页方式组织键值缓存并支持注意力计算的机制;用于理解服务端显存利用率优化,不是权重量化,也不意味着减少模型支持的上下文长度。arXiv
PagedAttention
PagedAttention 是一种将请求的 KV Cache 划分为固定大小逻辑块,并通过块表把逻辑块映射到可不连续物理显存的注意力与缓存管理机制,重点是减少动态序列带来的显存碎片与分配浪费,而不是压缩模型权重。
它改变的是 KV Cache 的组织方式
在传统连续分配思路下,一条序列的缓存往往需要较大且连续的显存区域;随着请求长度增长和并发变化,提前预留或频繁搬移都会带来利用率损失。PagedAttention 则把 KV Cache 看成多个固定大小的块,让逻辑连续的缓存可以对应到物理上不连续的显存块。
它借用了操作系统分页的核心思想:逻辑地址连续,不要求物理位置连续。注意力计算仍按 token 的逻辑顺序访问 KV Cache,块表负责完成逻辑块到物理块的定位,因此“分页”描述的是缓存的管理与寻址方式。

为什么它适合服务端并发场景
PagedAttention 的价值不只是“把缓存切小”,而是让服务端能够按块分配和回收 KV Cache。不同请求的缓存不必各自占据一整段连续显存,块可以随着实际序列长度增长而逐步使用,从而降低预留造成的浪费。
在需要共享缓存前缀的场景中,块式管理还便于让多个逻辑序列复用相同的缓存块;具体共享策略取决于推理引擎如何实现引用与写时复制等机制。因此,看到 PagedAttention 时,应先想到块分配、块映射和缓存管理,而不是某一种固定的量化算法。
它没有改变什么
PagedAttention 不等于 KV Cache 量化,也不等于上下文截断。量化改变缓存元素的数值表示精度;截断减少参与计算或保留的 token 数;PagedAttention 主要改变缓存的组织、分配和寻址方式。
| 概念 | 主要解决的问题 | 是否改变数值精度 | 是否直接减少上下文 token |
|---|---|---|---|
| PagedAttention | KV Cache 的块式分配、寻址与管理 | 否 | 否 |
| KV Cache 量化 | 降低缓存元素的显存占用 | 是 | 否 |
| 上下文截断 | 减少实际保留或参与计算的 token | 否 | 是 |
这些机制可以组合使用,因此不能仅凭“启用了 PagedAttention”就判断服务同时启用了量化,或者模型的最大上下文长度发生了变化。
最小示意
片段示例(概念映射,不可运行):假设逻辑块大小为 8 个 token,一个 20-token 序列可以对应 3 个逻辑块,最后一块只使用其中 4 个位置。
逻辑块: L0[0..7] L1[8..15] L2[16..19]
块表: L0->P17 L1->P3 L2->P42这里的 P17、P3、P42 只是示意物理块编号,它们可以分散在显存不同位置。注意力计算仍按照 L0、L1、L2 的逻辑顺序读取对应缓存。
常见误解
“分页”不表示把 KV Cache 自动换出到磁盘,也不表示自动压缩缓存;是否涉及 CPU/GPU 之间的数据交换,取决于服务引擎的其他设计。看到 PagedAttention,更准确的理解是:用固定大小块和块表管理 KV Cache,让逻辑连续性与物理显存连续性解耦。
复用相同输入前缀已计算出的键值缓存,减少重复预填充;用于理解共享提示的加速收益,它缓存的是中间状态,不是直接返回历史答案。vLLM
前缀缓存(Prefix Caching)
前缀缓存是在新请求与历史请求拥有相同 token 前缀时,复用该前缀已经计算出的 KV Cache,让模型跳过这部分重复的 prefill 计算;缓存的是模型中间状态,不是历史回答。vLLM 的 Automatic Prefix Caching 就采用这一思路。
缓存到底复用了什么
一次请求通常先经历 prefill,再进入 decode。前缀缓存只复用已经计算出的输入前缀 KV Cache,因此共享的系统提示、长文档或稳定的对话历史越长,能够跳过的重复计算通常越多。

什么情况下会命中
前缀缓存按实际 token 前缀判断,不按“语义相似”判断。多个请求只有在前面的 token 序列真正一致时,才有机会共享对应缓存;一旦某处内容发生变化,变化位置之后的部分通常不能继续直接复用原前缀。
因此,频繁变化的时间戳、随机 ID 或插入式用户信息放在长提示前部,会明显缩短可复用前缀。具体匹配方式、缓存块粒度和淘汰策略由推理引擎实现决定。
它与其他缓存机制有什么不同
| 概念 | 复用或管理的对象 | 主要作用 |
|---|---|---|
| 前缀缓存 | 相同输入前缀的 KV Cache | 减少重复 prefill |
| 响应缓存 | 已生成的最终响应 | 命中后可直接复用结果 |
| PagedAttention | KV Cache 的块式存储与寻址方式 | 提高 KV Cache 的内存管理效率 |
前缀缓存和 PagedAttention 并不冲突:前者解决“已经计算过的前缀能否复用”,后者解决“KV Cache 如何组织和访问”。
最小例子
片段示例(概念流程,不可运行):两次请求共享相同系统提示和长文档,只在最后的问题部分不同。
请求 A: [System][Document][Question A] -> 计算共享前缀并缓存 -> Decode A
请求 B: [System][Document][Question B] -> 命中共享前缀 -> 计算新后缀 -> Decode B这里请求 B 不会直接得到请求 A 的答案;它仍需对自己的问题完成后续计算和生成。实际收益还取决于可命中的前缀长度,以及整个工作负载中 prefill 所占的比例。
常见误解是把前缀缓存理解成“相似提示缓存”或“历史答案缓存”。判断是否命中时,应检查实际 token 前缀,而不是只看文本语义是否接近。
先提出多个草稿词元,再由目标模型验证并接纳部分结果的加速机制;用于理解降低解码等待的方法,实际收益依赖接纳率与额外验证开销。Hugging Face
投机解码(Speculative Decoding)
投机解码是一类先低成本提出一段候选词元,再由目标模型批量验证并接纳其中可用部分的解码加速方法,目的是减少目标模型逐词元串行推进带来的等待。
边界
它优化的是生成阶段的执行方式,不是通过缩小目标模型本身来直接降低单次计算成本。实际收益取决于草稿生成速度、候选接纳率、一次提出的词元数量以及目标模型验证开销;接纳率过低时,加速可能很有限。
经典方案通常包含草稿模型、目标模型和已确认输出三个角色:草稿模型连续提出候选,目标模型一次检查多个候选,接纳后再继续下一轮;遇到不被接纳的位置时,从目标模型认可的结果继续生成。

是否能保持与普通目标模型解码相同的输出分布,取决于具体投机算法及采样实现,不能把所有带“speculative”名称的方案都默认视为完全等价。
与普通自回归解码的区别
| 方式 | 候选产生方式 | 目标模型工作方式 | 主要限制 |
|---|---|---|---|
| 普通自回归解码 | 目标模型每轮产生下一个词元 | 每个新词元都依赖前一轮结果 | 串行步骤多 |
| 投机解码 | 较低成本组件先提出多个候选 | 一轮验证多个候选并接纳部分结果 | 收益依赖接纳率与验证成本 |
投机解码也不等同于“直接使用小模型生成”。小模型在这里通常只是候选提出者,最终哪些候选能够进入已确认序列仍由目标模型的验证规则决定。
最小例子
下面用确定性字符串比较模拟“只接纳连续正确前缀”的直觉。它不是实际采样验证算法,只用于说明为什么一次草稿可能只接纳其中一部分。
draft = ["A", "B", "C", "D"]
target = ["A", "B", "X"]
accepted = []
for draft_token, target_token in zip(draft, target):
if draft_token != target_token:
break
accepted.append(draft_token)
print("accepted:", accepted)
print("next target token:", target[len(accepted)])预期输出
accepted: ['A', 'B']
next target token: X这里四个草稿词元中只有前两个进入连续接纳前缀;真实投机解码通常使用概率分布和专门的验证规则,而不是简单比较词元是否相等。
常见误解
常见误解是认为“每次先生成更多词元就一定更快”。如果草稿质量差、验证成本高或工作负载本身很短,额外的草稿与验证工作可能抵消节省的串行解码时间。判断收益时应同时观察接纳率和端到端延迟,而不是只看单轮提出了多少候选。
从约定的请求起点到收到首个输出词元的时间;用于评价首屏等待体验,需要明确是否包含网络和排队,不能直接视为纯模型计算耗时。NVIDIA Docs
首词元延迟(TTFT)
首词元延迟(Time to First Token,TTFT)是从约定的请求起点到观察到第一个输出词元之间的时间,用来描述用户开始等待后多久能看到模型首次产生内容。
边界
TTFT 必须和测量起点、测量终点以及观测位置一起解释。客户端测得的 TTFT 可能包含请求上传、服务排队、输入预处理、提示词预填充、首个解码步骤、响应序列化以及首段网络传输;服务端指标则可能只覆盖其中一部分。
因此,两个系统都报告“TTFT 200 ms”并不一定代表模型计算性能相同。只有统计口径一致,数值才适合直接比较。
与相邻延迟指标的区别
| 指标 | 回答的问题 |
|---|---|
| TTFT | 请求发出后多久看到第一个词元 |
| 词元间延迟 | 首词元之后,后续词元之间通常间隔多久 |
| 端到端延迟 | 从请求开始到整个响应完成共用了多久 |
TTFT 偏高时,原因不一定出在首个解码步骤。长提示词会增加预填充工作,繁忙服务会增加排队时间,客户端测量还可能受到网络往返时间影响。
最小例子
若约定以客户端开始发送请求为起点,并记录客户端收到首个词元的时间,可以直接用两个时间点计算 TTFT:
request_start_ms = 1000
first_token_received_ms = 1185
ttft_ms = first_token_received_ms - request_start_ms
print(f"TTFT: {ttft_ms} ms")预期输出
TTFT: 185 ms这个 185 ms 只在上述测量边界下成立;如果改为服务端接收请求作为起点,或者在服务端生成首词元时就停止计时,得到的数值可能不同。
常见误解
常见误解是把 TTFT 直接解释成“模型生成第一个词元用了多久”。TTFT 是一个端到端或局部链路指标,具体包含哪些阶段取决于采集位置。做容量规划或性能对比时,应先确认是否包含网络、排队和预填充,再比较数值。
前者通常是请求内后续词元的平均耗时,后者描述相邻输出间隔;用于判断流式体验,响应块是否含多个词元及首词元处理方式会影响统计。vLLM+1
TPOT 与 ITL
TPOT(Time Per Output Token)通常衡量一次请求在首个输出之后生成后续词元的平均耗时;ITL(Inter-Token Latency)记录相邻输出词元之间的时间间隔。前者适合概括单次请求的持续生成速度,后者更适合观察流式输出中的停顿和抖动。
从时间线理解两个指标
假设一次请求的四个输出词元分别在 200 ms、260 ms、320 ms 和 500 ms 到达。首个词元之前的 200 ms 通常归入 TTFT(Time to First Token),而后续阶段产生三个相邻间隔:60 ms、60 ms、180 ms。
此时 ITL 保留三个独立样本,因此能直接暴露最后一次较长停顿;按常见口径,TPOT 则把首词元到末词元之间的 300 ms 平均到三个后续间隔上,得到 (500 - 200) / 3 = 100 ms/token。
这也说明 TPOT 不能简单写成“请求总耗时 ÷ 全部输出词元数”:首词元之前的等待通常由 TTFT 单独衡量,而且分母应与所采用的后续词元或间隔口径一致。
什么时候看 TPOT,什么时候看 ITL
| 关注点 | 更适合的指标 | 原因 |
|---|---|---|
| 单次请求持续生成总体有多快 | TPOT | 用一个平均值概括首词元后的生成阶段 |
| 流式输出是否偶尔卡顿 | ITL | 保留每个相邻词元间隔,可观察分布和高分位数 |
| 用户等待第一个输出多久 | TTFT | 单独覆盖请求开始到首个输出的等待 |
TPOT 较低不代表 ITL 一定稳定。多个很短的间隔可以稀释少数很长的间隔,所以评估交互体验时,仅看平均 TPOT 可能遗漏用户实际感受到的停顿。
统计口径会改变观测结果
这些指标成立的前提是明确“输出到达”的记录位置。服务端生成词元、服务端发送流式块、客户端收到响应块并不是同一个时间点;网络传输和客户端缓冲都可能改变观测值。
如果一个流式响应块一次携带多个词元,而客户端只给整个响应块记录一个到达时间,就无法从这些块级时间戳还原真实的逐词元 ITL。不同框架或压测工具还可能采用不同的首词元排除、分母和聚合方式,因此跨系统比较前必须核对定义。
最容易混淆的地方
TPOT 和 ITL 不是同一指标的两个名称。TPOT 把一段持续生成过程压缩成请求级平均值,ITL 则保留各相邻输出之间的间隔;只有后续词元逐个到达且各间隔接近时,两者在数值表现上才可能接近。
另一个常见误解是看到客户端连续收到数据,就认为测到了逐词元 ITL。若传输层按块批量发送词元,客户端实际测到的是响应块之间的间隔,而不是模型逐词元生成的间隔。
吞吐量记录单位时间的处理量,有效吞吐只计入满足服务目标的请求;用于判断容量提升是否有用,必须同时明确时延约束与词元统计口径。vLLM
吞吐量与有效吞吐(Goodput)
吞吐量衡量服务在单位时间内完成了多少工作;有效吞吐(Goodput)只统计同时满足既定服务目标的那部分工作。前者回答“处理了多少”,后者回答“其中多少达到了可接受的服务质量”。
边界
吞吐量必须连同计量单位解释,例如 requests/s、output tokens/s 或 total tokens/s。不同单位衡量的是不同资源利用结果,不能只比较一个数字的高低。
Goodput 还必须先给出服务目标,例如 TTFT、TPOT 或端到端时延不得超过指定阈值。在以请求为单位统计时,只有满足所配置约束的请求才进入有效吞吐;一旦修改阈值、判定指标或统计窗口,Goodput 也会随之改变。
两者的区别
| 指标 | 计入什么 | 是否依赖服务目标 |
|---|---|---|
| 吞吐量 | 统计窗口内完成的全部工作 | 否,但必须明确计量单位 |
| Goodput | 满足指定 SLO 的工作 | 是 |
因此,提高并发度后,即使总吞吐继续上升,也可能因为排队时间增长而让更多请求违反 TTFT、TPOT 或端到端时延约束,最终 Goodput 不升反降。容量优化时只看峰值吞吐,可能把“做得更多”和“按目标做好更多”混为一谈。
最小例子
假设 10 秒内完成 100 个请求,则请求吞吐量为 10 requests/s。若服务目标要求每个请求同时满足既定时延条件,而其中只有 82 个请求达标,那么按请求计的 Goodput 为 8.2 requests/s。
如果另一轮测试完成 120 个请求,但只有 75 个满足同一组服务目标,则总吞吐提高到 12 requests/s,而 Goodput 降为 7.5 requests/s。这个结果说明新增处理量主要来自超出目标的请求,不能仅凭吞吐增长判断容量优化有效。
常见误解是把 Goodput 理解为“吞吐量减去失败请求”。即使请求最终成功,只要超过所定义的服务目标,它在相应 Goodput 口径下也可能不被计入。