大模型应用开发 / 系统课时
规划课程实验环境
规划课程实验环境
学习目标
完成本课后,你将能够:
- 完成 Windows、macOS 或 Linux 实验设备的基础资源检查
- 为 Ollama、模型文件和课程项目规划磁盘空间
- 选择适合后续课程的实验模型和终端工具
- 使用明确的验收清单判断环境是否可以进入安装阶段
本课要完成的结果
本课不安装 Ollama,而是先确认设备和工具是否适合后续实验。完成后应得到一份环境记录,包括:
- 操作系统及版本
- CPU 或 Apple 芯片型号
- 物理内存容量
- GPU 型号和显存
- 可用磁盘空间
- 终端工具
- 网络和代理情况
- 计划使用的模型规模
- 模型存储目录
- 课程项目目录
提前完成这些检查,可以避免安装后才发现系统版本、磁盘或内存不满足要求。
选择实验平台
Ollama 可用于 Windows、macOS 和 Linux。课程中的概念、CLI 和 API 基本一致,但安装方式、服务管理、日志位置和 GPU 驱动存在平台差异。建议选择:
- 日常开发电脑:适合学习 CLI、API 和应用集成
- 独立 Linux 服务器:适合学习服务管理、远程访问和容器部署
- 带可用 GPU 的工作站:适合性能对比和较大模型
- Apple 芯片 Mac:适合使用 Metal 加速进行本地开发
如果有两台设备,可以在个人电脑完成开发,在 Linux 服务器完成后续部署章节。
检查 Windows 环境
1. 查看系统版本
在 PowerShell 中执行:
Get-ComputerInfo | Select-Object WindowsProductName, WindowsVersion, OsBuildNumber预期输出示例:
WindowsProductName WindowsVersion OsBuildNumber
------------------ -------------- -------------
<WINDOWS_EDITION> <VERSION> <BUILD_NUMBER>当前官方文档要求 Windows 10 22H2 或更新版本。系统要求可能随 Ollama 更新而变化,正式安装前应再次核对当前官方安装说明。
2. 查看 CPU 与物理内存
Get-CimInstance Win32_Processor | Select-Object Name, NumberOfCores, NumberOfLogicalProcessors
Get-CimInstance Win32_ComputerSystem | Select-Object @{Name="MemoryGB";Expression={[math]::Round($_.TotalPhysicalMemory / 1GB, 1)}}预期输出示例:
Name NumberOfCores NumberOfLogicalProcessors
---- ------------- -------------------------
<CPU_NAME> <CORE_COUNT> <THREAD_COUNT>
MemoryGB
--------
<MEMORY_GB>3. 查看显卡
Get-CimInstance Win32_VideoController | Select-Object Name, DriverVersion, AdapterRAM预期输出示例:
Name DriverVersion AdapterRAM
---- ------------- ----------
<GPU_NAME> <DRIVER_VERSION> <MEMORY_BYTES>部分驱动可能无法通过 AdapterRAM 正确报告显存,应以显卡驱动工具或系统监控结果为准。
4. 查看磁盘空间
Get-Volume | Where-Object DriveLetter | Select-Object DriveLetter, FileSystemLabel, SizeRemaining, Size预期输出示例:
DriveLetter FileSystemLabel SizeRemaining Size
----------- --------------- ------------- ----
<DRIVE> <LABEL> <FREE_BYTES> <TOTAL_BYTES>检查 macOS 环境
1. 查看系统和芯片
sw_vers
system_profiler SPHardwareDataType预期输出示例:
ProductName: macOS
ProductVersion: <MACOS_VERSION>
BuildVersion: <BUILD_VERSION>
Hardware:
Chip: <CHIP_NAME>
Total Number of Cores: <CORE_COUNT>
Memory: <MEMORY>当前官方文档要求 macOS Sonoma 14 或更新版本。Apple M 系列支持 CPU 和 GPU 加速,x86 Mac 主要使用 CPU。正式安装前应核对当前官方要求。
2. 查看显示设备
system_profiler SPDisplaysDataType预期输出中应能看到芯片或显示设备名称、核心数量和 Metal 支持信息,具体字段因设备不同而变化。
3. 查看磁盘空间
df -h /预期输出示例:
Filesystem Size Used Avail Capacity Mounted on
<DEVICE> <SIZE> <USED> <FREE> <PERCENT> /检查 Linux 环境
1. 查看系统版本
cat /etc/os-release
uname -m预期输出示例:
NAME="<DISTRIBUTION>"
VERSION="<VERSION>"
ID=<ID>
PRETTY_NAME="<DISTRIBUTION_AND_VERSION>"
<ARCHITECTURE>常见架构包括 x86_64 和 aarch64。安装包和 GPU 支持必须与系统架构匹配。
2. 查看 CPU 与内存
lscpu
free -h预期输出中应包含:
Architecture: <ARCHITECTURE>
CPU(s): <CPU_COUNT>
Model name: <CPU_MODEL>
total used free shared buff/cache available
Mem: <TOTAL> <USED> <FREE> <SHARED> <CACHE> <AVAILABLE>判断可用内存时优先观察 available,不要只看 free。
3. 查看 GPU
通用检查:
lspci | grep -Ei 'vga|3d|display'预期输出示例:
<BUS_ID> <DEVICE_TYPE>: <GPU_VENDOR_AND_MODEL>NVIDIA 设备可进一步执行:
nvidia-smi预期输出中应能看到驱动版本、GPU 型号、显存总量和当前占用。没有 NVIDIA GPU 或驱动未安装时,该命令可能不存在或返回错误。
4. 查看磁盘空间
df -h /预期输出示例:
Filesystem Size Used Avail Use% Mounted on
<DEVICE> <SIZE> <USED> <FREE> <PERCENT> /确定磁盘空间预算
Ollama 程序本身、模型文件和课程项目都需要空间。建议按以下部分规划:
| 空间用途 | 规划内容 |
|---|---|
| Ollama 程序 | 安装文件、运行库和更新文件 |
| 模型目录 | 至少一个实验模型,后续可能增加多个量化版本 |
| 下载余量 | 模型下载和更新过程中的临时空间 |
| 项目目录 | Python、JavaScript、RAG 文档和向量数据 |
| 日志与备份 | 服务日志、配置备份和测试数据 |
| 安全余量 | 避免磁盘接近写满导致下载或服务异常 |
Windows 官方文档提示程序安装本身至少需要约 4 GB 空间,模型还可能占用数 GB 到数百 GB。实际课程环境应根据计划下载的模型单独预留空间。
选择课程实验模型
第一阶段不应直接选择设备勉强才能运行的最大模型。推荐先选择:
- 支持文本对话
- 模型文件体积适中
- 对中文有基本支持
- 能在当前设备稳定加载
- 模型库中有明确标签和说明
- 后续 API 示例可以持续复用
选择顺序:
- 记录可用内存和显存。
- 为操作系统和应用保留安全余量。
- 选择中小参数规模的量化模型。
- 确保磁盘可容纳模型和后续项目。
- 安装后测试首字延迟和生成速度。
- 性能不足时再降低模型规模或量化等级。
- 资源有余量时再测试更大版本。
本章不固定唯一模型名称,避免模型库变化导致课程失效。后续命令中的 <MODEL> 统一替换为你实际选择的模型标签。
准备终端和开发工具
至少准备一个可正常执行命令的终端:
| 平台 | 推荐工具 |
|---|---|
| Windows | Windows Terminal、PowerShell |
| macOS | Terminal、iTerm2 |
| Linux | Bash、Zsh 或发行版默认终端 |
后续 API 与项目课程还建议准备:
curl:测试 HTTP API- Python 3:完成 Python SDK 和 RAG 示例
- Node.js:完成 JavaScript SDK 示例
- Git:管理课程项目
- 代码编辑器:编辑脚本和配置
- Docker:用于后续容器化部署,当前阶段可以暂不安装
检查网络条件
模型首次下载依赖网络。应提前确认:
- 能否访问 Ollama 下载和模型服务
- 是否需要 HTTP 或 HTTPS 代理
- 企业网络是否拦截大文件下载
- 磁盘是否允许长时间写入
- 终端是否继承代理环境变量
- 下载中断后是否可以继续
- 服务器是否只能通过跳板机访问外网
如果最终环境需要离线运行,应先在可联网环境完成程序和模型下载,再规划离线迁移和完整性验证。
建立课程目录
建议单独创建课程目录,不要把项目代码和模型存储目录混在一起。Linux 或 macOS 示例:
mkdir -p ~/ollama-course/{projects,documents,configs,backups}
find ~/ollama-course -maxdepth 1 -type d | sort预期输出示例:
<HOME>/ollama-course
<HOME>/ollama-course/backups
<HOME>/ollama-course/configs
<HOME>/ollama-course/documents
<HOME>/ollama-course/projectsWindows PowerShell 示例:
$base = Join-Path $HOME "ollama-course"
"projects", "documents", "configs", "backups" | ForEach-Object {
New-Item -ItemType Directory -Force -Path (Join-Path $base $_) | Out-Null
}
Get-ChildItem $base -Directory | Select-Object Name预期输出示例:
Name
----
backups
configs
documents
projects模型文件由 Ollama 管理,不建议直接放入上述项目目录。后续如需迁移模型目录,应使用 Ollama 支持的环境变量和平台配置方式。
环境记录模板
完成检查后,保存以下记录:
操作系统:<OS_AND_VERSION>
系统架构:<ARCHITECTURE>
CPU 或芯片:<CPU_OR_CHIP>
物理内存:<MEMORY>
GPU:<GPU_MODEL_OR_NONE>
显存:<VRAM_OR_UNIFIED_MEMORY>
可用磁盘:<FREE_DISK_SPACE>
终端:<TERMINAL>
curl:<AVAILABLE_OR_MISSING>
Python:<VERSION_OR_MISSING>
Node.js:<VERSION_OR_MISSING>
Docker:<VERSION_OR_NOT_INSTALLED>
网络或代理:<NETWORK_STATUS>
计划模型:<MODEL>
模型存储位置:<DEFAULT_OR_PLANNED_PATH>
课程项目目录:<PROJECT_PATH>进入安装阶段的验收标准
满足以下条件后,可以进入下一章:
- 操作系统满足当前 Ollama 官方要求
- 已确认系统架构
- 有足够的可用磁盘空间
- 已记录物理内存和 GPU 情况
- 已选择一个设备能够承载的实验模型范围
- 终端能够正常执行命令
- 网络可以完成程序和模型下载
- 已建立独立课程项目目录
- 已记录代理或企业网络限制
- 知道后续需要在哪个平台学习服务管理
常见准备错误
1. 只检查总内存,不检查可用内存
浏览器、IDE 和其他程序会占用大量内存。运行模型前应关闭不必要程序,并观察实际可用内存。
2. 只检查显卡型号,不检查驱动和支持情况
GPU 型号符合要求,但驱动过旧或容器未映射设备时,模型仍可能使用 CPU。
3. 磁盘空间刚好等于模型大小
模型下载、更新、日志和项目数据都需要额外空间。磁盘接近写满会导致下载失败和服务异常。
4. 一开始就选择最大模型
最大模型可能导致加载失败、输出过慢或无法完成后续并发实验。课程初期应优先保证稳定可复现。
5. 忽略企业网络代理
安装程序可以下载不代表模型大文件一定可以下载。应提前测试目标环境的网络和代理行为。
本课练习
练习 1:完成设备清单
任务目标:建立可复现的实验环境记录。初始条件:使用你准备学习课程的设备。
实现要求:填写操作系统、架构、CPU、内存、GPU、显存、磁盘和终端信息。
验收条件:所有字段都有具体值;没有独立 GPU 时明确写为“无”。
练习 2:制定模型空间预算
任务目标:避免模型下载导致磁盘不足。初始条件:计划保留 3 个模型版本,并保存 RAG 文档和向量索引。
实现要求:为模型、项目、日志、备份和安全余量分别分配空间。
验收条件:预算总量小于当前可用磁盘,并保留明确的安全余量。
练习 3:选择实验模型范围
任务目标:把硬件资源转化为模型选择条件。初始条件:已知设备的可用内存和显存。
实现要求:给出可优先测试的参数规模和量化范围,并说明排除更大模型的原因。
验收条件:结论同时考虑权重、KV Cache、操作系统占用和性能要求。