游戏 AI / 系统课时

选择云端 API 与本地推理边界

选择云端 API 与本地推理边界

NPC 对话在开发机上跑通后,真正影响上线体验的是网络延迟、并发费用、设备算力和数据边界。这里把“本地推理”拆成私有服务器推理与玩家设备推理,比较三种部署位置,并用一段可运行的路由策略确定每种情形的接入方式。

学习目标

  • 区分云端 API、自托管服务器与端侧推理的适用边界。
  • 明确客户端、中转服务和推理后端的安全职责。
  • 用可执行的选路示例验证正常调用与故障降级。

区分三种模型部署位置

方案 推理发生地 适用条件 主要代价
云端 API 外部模型服务 快速验证、流量波动、可联网 按量费用、外网依赖、数据传输要求
自托管推理 开发者管理的 GPU 服务器 可控数据边界、稳定负载、定制模型 显存、容量规划、运维和升级
端侧推理 玩家电脑或移动设备 非关键离线闲聊、端侧硬件充足 安装体积、机型差异、性能与质量波动

“自托管”不一定离线;玩家通常仍需通过网络访问游戏服务器。“端侧”也不等于可信:即使模型运行在玩家设备上,金币、背包、任务完成等状态仍必须由权威游戏服务判定。

开发阶段通常先通过服务端中转调用云端模型,以便快速更换模型并记录指标;上线是否迁往自托管或端侧,应由目标机型和真实流量测试决定,而不是只看一次对话的主观效果。

固定客户端与模型之间的安全边界

联网游戏推荐让客户端只调用游戏后端的 NPC 对话接口。后端验证玩家身份、读取允许暴露的世界状态、裁剪提示内容、选择模型后端,并校验生成结果。云端 API 密钥保存在服务器的密钥管理或环境变量中,不打包到客户端。

云端、自托管与端侧推理的接入边界对比

中转层还需要限流、超时、取消请求、日志脱敏与失败兜底。不要把完整聊天记录和所有任务变量默认发送给模型;例如问路只需当前地点、可公开的目的地名称和 NPC 知识范围。敏感信息是否能送往外部服务,应先按项目的数据政策决定。

用流量和响应预算筛选方案

假设游戏每天产生 2000 次 NPC 请求,平均每次输入 600 Token、输出 150 Token,按 30 天计算就是约 60000 次请求、3600 万输入 Token 和 900 万输出 Token。云端费用需要分别乘以供应商实际的输入、输出单价;自托管则要估算 GPU 占用、峰值排队、运维和冗余成本,不能只比较单次生成价格。

为游戏内短对话可先设置一组可测试的验收门槛:20 路并发时完整回复的 P95 不超过 3 秒,单次请求 4 秒超时,超时后使用固定 NPC 文案。这些是项目示例目标,不是模型厂商保证值;应按地区、终端硬件和实际场景重测。

若剧情数据禁止外传,就优先评估私有推理;若玩家必须离线,评估端侧模型的包体、内存与低端设备表现;若用户峰值波动大且可联网,云端更便于先验证需求。

用统一路由策略避免前端绑死后端

以下完整 Python 示例只演示游戏后端的选路决策,不伪造任何模型供应商 API 调用。四种输出分别代表云端、自托管、端侧和固定模板;端侧只用于不影响权威状态的闲聊。

python
from dataclasses import dataclass

@dataclass(frozen=True)
class Context:
    cloud_ok: bool
    private_server_ok: bool
    device_model_ok: bool
    external_allowed: bool
    cosmetic_only: bool

def select_backend(ctx: Context) -> str:
    # 端侧仅用于不会触发道具、金币或任务变化的闲聊。
    if ctx.cosmetic_only and ctx.device_model_ok:
        return "on_device"
    if ctx.private_server_ok:
        return "self_hosted"
    # 外发许可与云端可达必须同时满足。
    if ctx.external_allowed and ctx.cloud_ok:
        return "cloud_api"
    return "template"

cases = {
    "开发联调": Context(True, False, False, True, False),
    "敏感剧情": Context(True, True, False, False, False),
    "离线闲聊": Context(False, False, True, False, True),
    "全部不可用": Context(False, False, False, False, False),
}
for name, context in cases.items():
    print(f"{name}: {select_backend(context)}")

预期输出:

text
开发联调: cloud_api
敏感剧情: self_hosted
离线闲聊: on_device
全部不可用: template

cloud_ok 等条件应来自实际健康检查和项目策略,而非由客户端自由声明。真正接入时,四种分支要实现同一请求与响应契约,使游戏逻辑不感知供应商差异;模型输出的动作意图仍需统一经过规则校验。

用故障演练决定上线边界

分别测量首字延迟、完整响应 P50/P95、超时率、Token 消耗、峰值排队时间和不同设备的内存峰值。对于自托管,还应压测 GPU 并发与模型加载;对于端侧,要覆盖最低支持机型;对于云端,要模拟限流和外网断开。

最后验收一条硬规则:任意模型不可用时 NPC 可以返回保底台词,但不能凭失败、重试或端侧生成结果直接修改玩家状态。这样开发期能保持接入简单,上线时也能依据真实负载调整部署,而不必重写游戏规则。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择云端 API 与本地推理边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通