大模型应用开发 / 系统课时

本地部署与云端调用的差异

本地部署与云端调用的差异

学习目标

完成本课后,你将能够:

  • 从数据安全、性能、成本和维护责任比较本地与云端模型
  • 识别“本地一定更便宜”和“云端一定更快”等错误判断
  • 根据业务规模和约束选择本地、云端或混合方案
  • 为模型服务选型建立可执行的评估清单

两种方式的本质差异

本地部署是把模型权重和推理服务放在自己的电脑、服务器或企业内网中运行。云端调用是把请求发送给外部模型服务,由服务提供方完成模型加载、推理、扩缩容和基础设施维护。

两种方式的关键差异不是调用代码,而是资源和责任归属:

  • 本地部署:硬件资源、模型文件、服务安全和故障恢复由使用方负责。
  • 云端调用:基础模型运行由服务提供方负责,使用方主要管理 API 凭证、请求内容、业务逻辑和费用。

核心维度对比

维度 Ollama 本地部署 云端模型 API
数据路径 请求可在本机或内网完成 请求通常离开本地环境
初始投入 需要可用电脑、服务器或 GPU 通常无需购买推理硬件
持续费用 电力、硬件折旧、维护成本 按 Token、请求量或套餐计费
模型规模 受本地内存和显存限制 可调用超出本地设备能力的大模型
网络依赖 模型下载后可离线运行 调用时通常依赖外部网络
首次延迟 可能包含模型加载时间 通常由云端保持模型服务
并发扩展 需要自行扩容和调度 服务方通常提供弹性能力
版本控制 可固定模型和运行环境 模型升级策略受提供方影响
运维责任 驱动、磁盘、监控、安全均需自管 基础运行由服务方负责
功能边界 取决于本地模型与 Ollama 支持 取决于供应商提供的模型与接口

数据安全:本地不等于自动安全

本地部署的优势是可以控制数据路径。输入内容不必发送到外部模型 API,适合处理内部文档、代码和受限数据。但本地系统仍可能通过以下位置泄露数据:

  • 聊天界面把遥测或日志发送到外部
  • 反向代理记录完整请求正文
  • 应用日志保存用户提示词
  • 远程访问端口没有认证
  • 插件、工具调用或 RAG 数据源访问外部服务
  • 服务器备份和快照缺少权限控制

因此,安全判断不能只问“模型是否在本地”,还要检查完整调用链是否存在外发路径。

性能:延迟取决于任务和设备

本地部署可能更快的情况

  • 请求和模型位于同一台设备或同一局域网
  • 模型已经加载到内存或显存
  • 使用的小模型能完全放入 GPU
  • 外部网络延迟较高或不稳定
  • 请求规模较小,不需要排队

云端调用可能更快的情况

  • 云端使用更强的 GPU 和经过优化的推理集群
  • 本地只能使用 CPU 或部分 GPU 卸载
  • 目标模型远大于本地显存
  • 本地同时有多个用户竞争资源
  • 云端服务能够进行批处理和弹性扩容

因此,“本地没有网络传输,所以一定更快”并不成立。网络延迟只是总延迟的一部分,模型规模和硬件性能通常更关键。

成本:比较总拥有成本

本地部署的成本不只是购买 GPU,至少包括:

  • 服务器或个人设备
  • GPU、内存和磁盘
  • 电力与散热
  • 硬件折旧
  • 运维时间
  • 监控和备份
  • 故障停机损失
  • 安全加固成本

云端调用的成本通常与请求量、输入 Token、输出 Token、模型等级和缓存策略有关。

本地更可能划算的情况

  • 已有闲置且适合的硬件
  • 请求量长期稳定
  • 使用中小模型即可完成任务
  • 数据不能发送到外部
  • 团队具备基础运维能力

云端更可能划算的情况

  • 请求量低且不稳定
  • 偶尔需要超大模型
  • 不希望承担硬件采购和维护
  • 业务需要快速扩展
  • 团队缺少推理基础设施经验

不能只比较单次请求费用。正确方法是估算一段时间内的完整成本。

扩展性与并发

单机 Ollama 的容量受到 GPU、显存、内存和模型加载数量限制。多个用户同时请求时,可能出现排队、上下文竞争和响应变慢。云端服务通常更容易获得:

  • 多实例扩展
  • 负载均衡
  • 容量预留
  • 区域部署
  • 请求限流
  • 服务等级保障

本地环境也可以增加代理、队列和多实例,但这些能力需要自行设计,并不由默认 Ollama 服务自动完成。

模型能力与版本控制

本地部署可以固定模型文件、量化等级、系统提示词和运行参数,适合需要可重复结果和版本可追踪的场景。云端模型可能获得更强能力和更快更新,但也可能发生:

  • 模型版本迁移
  • 参数行为变化
  • 价格调整
  • 配额变化
  • 区域可用性变化
  • 接口功能差异

对于要求稳定复现的业务,应记录模型名称、版本、提示词、参数和评测结果,无论使用本地还是云端都不能只记录一个模糊的“AI 模型”。

三种常见架构

1. 全本地方案

text
用户
→ 内网应用
→ Ollama
→ 本地模型

适合:

  • 数据不允许离开内网
  • 使用人数有限
  • 本地模型能力满足要求
  • 可以承担设备和运维成本

2. 全云端方案

text
用户
→ 业务应用
→ 云端模型 API

适合:

  • 需要更强模型
  • 请求量变化明显
  • 希望快速上线
  • 数据策略允许外部调用

3. 混合方案

text
普通或敏感任务
→ 本地模型

复杂且允许外发的任务
→ 云端模型

混合方案可以按数据等级、任务难度、成本预算和服务可用性路由请求。例如,内部文档摘要使用本地模型,公开资料上的复杂推理使用云端模型。

选型决策流程

按以下顺序判断:

  1. 数据是否允许离开本机或内网。
  2. 目标模型是否能在现有设备上运行。
  3. 预期并发和响应时间是否能由本地设备满足。
  4. 请求量是稳定、持续,还是低频、波动。
  5. 是否具备驱动、服务、安全和监控维护能力。
  6. 是否需要超大模型、跨区域或高可用。
  7. 失败时是否可以降级到另一种模型服务。

第一个问题是硬约束。若数据禁止外发,云端方案即使性能更高也不能直接使用。

方案评估表

可以为每个项目填写以下表格:

评估项 项目要求 本地方案 云端方案 结论
数据外发 是否允许 满足或不满足 满足或不满足 选择依据
模型能力 需要的模型规模 可运行模型 可用云模型 选择依据
峰值并发 每分钟或同时请求数 单机测试结果 配额与限流 选择依据
响应时间 首字和完成时限 基准测试结果 实测结果 选择依据
月度成本 预算上限 总拥有成本 API 费用 选择依据
运维能力 人员和工具 是否具备 供应商承担范围 选择依据
可用性 故障恢复目标 自建方案 服务等级 选择依据

本课练习

练习 1:选择个人开发方案

任务目标:比较低频使用的成本。初始条件:个人开发者每周只使用数小时,没有独立 GPU,需要偶尔调用较强模型。

实现要求:选择本地、云端或混合方案,并解释硬件投入、使用频率和模型能力的影响。

验收条件:结论不能只写“云端更方便”,必须给出至少 3 个具体判断依据。

练习 2:设计企业内网方案

任务目标:处理禁止外发的数据。初始条件:企业需要对内部合同进行摘要,数据不能离开内网,同时使用人数不超过 20 人。

实现要求:设计模型部署、访问控制、日志和容量验证方案。

验收条件:方案必须说明为什么不能直接使用外部 API,以及本地服务上线前要补充哪些能力。

练习 3:设计混合路由规则

任务目标:为不同任务选择不同模型服务。初始条件:系统同时处理公开问答和内部知识库问答。

实现要求:设计至少 4 条路由规则,包括数据敏感度、任务难度、模型故障和成本限制。验收条件:每条规则都必须包含判断条件和目标服务。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

本地部署与云端调用的差异

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通