大模型应用开发 / 系统课时
本地部署与云端调用的差异
本地部署与云端调用的差异
学习目标
完成本课后,你将能够:
- 从数据安全、性能、成本和维护责任比较本地与云端模型
- 识别“本地一定更便宜”和“云端一定更快”等错误判断
- 根据业务规模和约束选择本地、云端或混合方案
- 为模型服务选型建立可执行的评估清单
两种方式的本质差异
本地部署是把模型权重和推理服务放在自己的电脑、服务器或企业内网中运行。云端调用是把请求发送给外部模型服务,由服务提供方完成模型加载、推理、扩缩容和基础设施维护。
两种方式的关键差异不是调用代码,而是资源和责任归属:
- 本地部署:硬件资源、模型文件、服务安全和故障恢复由使用方负责。
- 云端调用:基础模型运行由服务提供方负责,使用方主要管理 API 凭证、请求内容、业务逻辑和费用。
核心维度对比
| 维度 | Ollama 本地部署 | 云端模型 API |
|---|---|---|
| 数据路径 | 请求可在本机或内网完成 | 请求通常离开本地环境 |
| 初始投入 | 需要可用电脑、服务器或 GPU | 通常无需购买推理硬件 |
| 持续费用 | 电力、硬件折旧、维护成本 | 按 Token、请求量或套餐计费 |
| 模型规模 | 受本地内存和显存限制 | 可调用超出本地设备能力的大模型 |
| 网络依赖 | 模型下载后可离线运行 | 调用时通常依赖外部网络 |
| 首次延迟 | 可能包含模型加载时间 | 通常由云端保持模型服务 |
| 并发扩展 | 需要自行扩容和调度 | 服务方通常提供弹性能力 |
| 版本控制 | 可固定模型和运行环境 | 模型升级策略受提供方影响 |
| 运维责任 | 驱动、磁盘、监控、安全均需自管 | 基础运行由服务方负责 |
| 功能边界 | 取决于本地模型与 Ollama 支持 | 取决于供应商提供的模型与接口 |
数据安全:本地不等于自动安全
本地部署的优势是可以控制数据路径。输入内容不必发送到外部模型 API,适合处理内部文档、代码和受限数据。但本地系统仍可能通过以下位置泄露数据:
- 聊天界面把遥测或日志发送到外部
- 反向代理记录完整请求正文
- 应用日志保存用户提示词
- 远程访问端口没有认证
- 插件、工具调用或 RAG 数据源访问外部服务
- 服务器备份和快照缺少权限控制
因此,安全判断不能只问“模型是否在本地”,还要检查完整调用链是否存在外发路径。
性能:延迟取决于任务和设备
本地部署可能更快的情况
- 请求和模型位于同一台设备或同一局域网
- 模型已经加载到内存或显存
- 使用的小模型能完全放入 GPU
- 外部网络延迟较高或不稳定
- 请求规模较小,不需要排队
云端调用可能更快的情况
- 云端使用更强的 GPU 和经过优化的推理集群
- 本地只能使用 CPU 或部分 GPU 卸载
- 目标模型远大于本地显存
- 本地同时有多个用户竞争资源
- 云端服务能够进行批处理和弹性扩容
因此,“本地没有网络传输,所以一定更快”并不成立。网络延迟只是总延迟的一部分,模型规模和硬件性能通常更关键。
成本:比较总拥有成本
本地部署的成本不只是购买 GPU,至少包括:
- 服务器或个人设备
- GPU、内存和磁盘
- 电力与散热
- 硬件折旧
- 运维时间
- 监控和备份
- 故障停机损失
- 安全加固成本
云端调用的成本通常与请求量、输入 Token、输出 Token、模型等级和缓存策略有关。
本地更可能划算的情况
- 已有闲置且适合的硬件
- 请求量长期稳定
- 使用中小模型即可完成任务
- 数据不能发送到外部
- 团队具备基础运维能力
云端更可能划算的情况
- 请求量低且不稳定
- 偶尔需要超大模型
- 不希望承担硬件采购和维护
- 业务需要快速扩展
- 团队缺少推理基础设施经验
不能只比较单次请求费用。正确方法是估算一段时间内的完整成本。
扩展性与并发
单机 Ollama 的容量受到 GPU、显存、内存和模型加载数量限制。多个用户同时请求时,可能出现排队、上下文竞争和响应变慢。云端服务通常更容易获得:
- 多实例扩展
- 负载均衡
- 容量预留
- 区域部署
- 请求限流
- 服务等级保障
本地环境也可以增加代理、队列和多实例,但这些能力需要自行设计,并不由默认 Ollama 服务自动完成。
模型能力与版本控制
本地部署可以固定模型文件、量化等级、系统提示词和运行参数,适合需要可重复结果和版本可追踪的场景。云端模型可能获得更强能力和更快更新,但也可能发生:
- 模型版本迁移
- 参数行为变化
- 价格调整
- 配额变化
- 区域可用性变化
- 接口功能差异
对于要求稳定复现的业务,应记录模型名称、版本、提示词、参数和评测结果,无论使用本地还是云端都不能只记录一个模糊的“AI 模型”。
三种常见架构
1. 全本地方案
用户
→ 内网应用
→ Ollama
→ 本地模型适合:
- 数据不允许离开内网
- 使用人数有限
- 本地模型能力满足要求
- 可以承担设备和运维成本
2. 全云端方案
用户
→ 业务应用
→ 云端模型 API适合:
- 需要更强模型
- 请求量变化明显
- 希望快速上线
- 数据策略允许外部调用
3. 混合方案
普通或敏感任务
→ 本地模型
复杂且允许外发的任务
→ 云端模型混合方案可以按数据等级、任务难度、成本预算和服务可用性路由请求。例如,内部文档摘要使用本地模型,公开资料上的复杂推理使用云端模型。
选型决策流程
按以下顺序判断:
- 数据是否允许离开本机或内网。
- 目标模型是否能在现有设备上运行。
- 预期并发和响应时间是否能由本地设备满足。
- 请求量是稳定、持续,还是低频、波动。
- 是否具备驱动、服务、安全和监控维护能力。
- 是否需要超大模型、跨区域或高可用。
- 失败时是否可以降级到另一种模型服务。
第一个问题是硬约束。若数据禁止外发,云端方案即使性能更高也不能直接使用。
方案评估表
可以为每个项目填写以下表格:
| 评估项 | 项目要求 | 本地方案 | 云端方案 | 结论 |
|---|---|---|---|---|
| 数据外发 | 是否允许 | 满足或不满足 | 满足或不满足 | 选择依据 |
| 模型能力 | 需要的模型规模 | 可运行模型 | 可用云模型 | 选择依据 |
| 峰值并发 | 每分钟或同时请求数 | 单机测试结果 | 配额与限流 | 选择依据 |
| 响应时间 | 首字和完成时限 | 基准测试结果 | 实测结果 | 选择依据 |
| 月度成本 | 预算上限 | 总拥有成本 | API 费用 | 选择依据 |
| 运维能力 | 人员和工具 | 是否具备 | 供应商承担范围 | 选择依据 |
| 可用性 | 故障恢复目标 | 自建方案 | 服务等级 | 选择依据 |
本课练习
练习 1:选择个人开发方案
任务目标:比较低频使用的成本。初始条件:个人开发者每周只使用数小时,没有独立 GPU,需要偶尔调用较强模型。
实现要求:选择本地、云端或混合方案,并解释硬件投入、使用频率和模型能力的影响。
验收条件:结论不能只写“云端更方便”,必须给出至少 3 个具体判断依据。
练习 2:设计企业内网方案
任务目标:处理禁止外发的数据。初始条件:企业需要对内部合同进行摘要,数据不能离开内网,同时使用人数不超过 20 人。
实现要求:设计模型部署、访问控制、日志和容量验证方案。
验收条件:方案必须说明为什么不能直接使用外部 API,以及本地服务上线前要补充哪些能力。
练习 3:设计混合路由规则
任务目标:为不同任务选择不同模型服务。初始条件:系统同时处理公开问答和内部知识库问答。
实现要求:设计至少 4 条路由规则,包括数据敏感度、任务难度、模型故障和成本限制。验收条件:每条规则都必须包含判断条件和目标服务。