大模型应用开发 / 系统课时
统计令牌用量
统计令牌用量
令牌用量决定大模型调用的响应成本,也是定位超长上下文和异常输出的重要依据。本课将分别记录输入、输出和总令牌数,计算单次请求费用,并据此找出高消耗请求。
学习目标
- 读取并保存模型响应中的令牌统计字段
- 按输入与输出单价计算单次调用成本
- 用日志定位上下文过长或输出失控的请求
认识用量字段
多数模型接口会在响应中返回输入令牌、输出令牌和总令牌数。字段名称可能是 prompt_tokens、completion_tokens,也可能是 input_tokens、output_tokens,接入时应以实际 SDK 文档为准。
总令牌通常满足:
计费时必须分别使用输入和输出单价,因为两者往往不同。缓存命中的输入、批处理调用或推理令牌也可能采用独立价格,不能一律按普通输入令牌计算。
计算单次调用成本
下面使用一条模拟响应演示统计方法。价格以“每百万令牌”为单位,实际项目应从配置中心读取当前模型价格,不要把长期价格写死在业务代码中。
from decimal import Decimal
usage = {
"input_tokens": 1250,
"output_tokens": 320,
}
input_price_per_million = Decimal("2.50")
output_price_per_million = Decimal("10.00")
input_cost = Decimal(usage["input_tokens"]) / Decimal(1_000_000) * input_price_per_million
output_cost = Decimal(usage["output_tokens"]) / Decimal(1_000_000) * output_price_per_million
total_cost = input_cost + output_cost
print(f"输入令牌: {usage['input_tokens']}")
print(f"输出令牌: {usage['output_tokens']}")
print(f"总令牌: {usage['input_tokens'] + usage['output_tokens']}")
print(f"估算成本: ${total_cost:.6f}")预期输出:
输入令牌: 1250
输出令牌: 320
总令牌: 1570
估算成本: $0.006325这里的价格只是计算示例,不代表任何具体模型的当前价格。若平台返回的总令牌数与输入、输出之和不一致,应优先保留原始响应,并检查是否存在缓存令牌、推理令牌或其他单独统计项。
记录可分析的调用日志
每次请求至少记录请求 ID、模型名、业务场景、输入令牌、输出令牌、总耗时和估算成本。不要把完整提示词直接写入普通日志,可改存内容哈希、模板版本和脱敏后的长度信息。
建议按“业务场景 + 模型版本”聚合平均值、P95 和最大值。平均值反映日常成本,P95 能发现长尾请求,最大值用于定位异常上下文、重复拼接历史消息或输出没有终止条件的问题。
定位高消耗请求
输入令牌异常高时,先检查是否重复注入系统提示词、检索文档过多、历史消息未压缩。输出令牌异常高时,检查最大输出限制、停止条件和回答格式是否足够明确。
成本优化不能只看令牌数。过度裁剪上下文可能降低回答质量,因此应同时观察成功率、人工修正率和响应时延。只有在效果不退化的前提下,减少令牌才是真正有效的优化。
本课总结
- 输入与输出令牌必须分开统计,并使用各自单价计算费用
- 日志应包含业务场景、模型版本、耗时和成本,但避免记录未脱敏提示词
- 结合平均值、P95 和最大值,才能定位稳定成本与异常长尾
下一课预告
下一课将基于令牌统计结果,进一步学习如何缩短上下文并控制模型输出长度。