大模型应用开发 / 系统课时

规划课程实验环境

规划课程实验环境

学习目标

完成本课后,你将能够:

  • 完成 Windows、macOS 或 Linux 实验设备的基础资源检查
  • 为 Ollama、模型文件和课程项目规划磁盘空间
  • 选择适合后续课程的实验模型和终端工具
  • 使用明确的验收清单判断环境是否可以进入安装阶段

本课要完成的结果

本课不安装 Ollama,而是先确认设备和工具是否适合后续实验。完成后应得到一份环境记录,包括:

  • 操作系统及版本
  • CPU 或 Apple 芯片型号
  • 物理内存容量
  • GPU 型号和显存
  • 可用磁盘空间
  • 终端工具
  • 网络和代理情况
  • 计划使用的模型规模
  • 模型存储目录
  • 课程项目目录

提前完成这些检查,可以避免安装后才发现系统版本、磁盘或内存不满足要求。

选择实验平台

Ollama 可用于 Windows、macOS 和 Linux。课程中的概念、CLI 和 API 基本一致,但安装方式、服务管理、日志位置和 GPU 驱动存在平台差异。建议选择:

  • 日常开发电脑:适合学习 CLI、API 和应用集成
  • 独立 Linux 服务器:适合学习服务管理、远程访问和容器部署
  • 带可用 GPU 的工作站:适合性能对比和较大模型
  • Apple 芯片 Mac:适合使用 Metal 加速进行本地开发

如果有两台设备,可以在个人电脑完成开发,在 Linux 服务器完成后续部署章节。

检查 Windows 环境

1. 查看系统版本

在 PowerShell 中执行:

powershell
Get-ComputerInfo | Select-Object WindowsProductName, WindowsVersion, OsBuildNumber

预期输出示例:

text
WindowsProductName    WindowsVersion    OsBuildNumber
------------------    --------------    -------------
<WINDOWS_EDITION>     <VERSION>         <BUILD_NUMBER>

当前官方文档要求 Windows 10 22H2 或更新版本。系统要求可能随 Ollama 更新而变化,正式安装前应再次核对当前官方安装说明。

2. 查看 CPU 与物理内存

powershell
Get-CimInstance Win32_Processor | Select-Object Name, NumberOfCores, NumberOfLogicalProcessors
Get-CimInstance Win32_ComputerSystem | Select-Object @{Name="MemoryGB";Expression={[math]::Round($_.TotalPhysicalMemory / 1GB, 1)}}

预期输出示例:

text
Name          NumberOfCores    NumberOfLogicalProcessors
----          -------------    -------------------------
<CPU_NAME>    <CORE_COUNT>     <THREAD_COUNT>

MemoryGB
--------
<MEMORY_GB>

3. 查看显卡

powershell
Get-CimInstance Win32_VideoController | Select-Object Name, DriverVersion, AdapterRAM

预期输出示例:

text
Name          DriverVersion    AdapterRAM
----          -------------    ----------
<GPU_NAME>    <DRIVER_VERSION> <MEMORY_BYTES>

部分驱动可能无法通过 AdapterRAM 正确报告显存,应以显卡驱动工具或系统监控结果为准。

4. 查看磁盘空间

powershell
Get-Volume | Where-Object DriveLetter | Select-Object DriveLetter, FileSystemLabel, SizeRemaining, Size

预期输出示例:

text
DriveLetter    FileSystemLabel    SizeRemaining    Size
-----------    ---------------    -------------    ----
<DRIVE>        <LABEL>            <FREE_BYTES>     <TOTAL_BYTES>

检查 macOS 环境

1. 查看系统和芯片

bash
sw_vers
system_profiler SPHardwareDataType

预期输出示例:

text
ProductName:            macOS
ProductVersion:         <MACOS_VERSION>
BuildVersion:           <BUILD_VERSION>

Hardware:
    Chip:               <CHIP_NAME>
    Total Number of Cores: <CORE_COUNT>
    Memory:             <MEMORY>

当前官方文档要求 macOS Sonoma 14 或更新版本。Apple M 系列支持 CPU 和 GPU 加速,x86 Mac 主要使用 CPU。正式安装前应核对当前官方要求。

2. 查看显示设备

bash
system_profiler SPDisplaysDataType

预期输出中应能看到芯片或显示设备名称、核心数量和 Metal 支持信息,具体字段因设备不同而变化。

3. 查看磁盘空间

bash
df -h /

预期输出示例:

text
Filesystem    Size    Used   Avail Capacity Mounted on
<DEVICE>      <SIZE>  <USED> <FREE> <PERCENT> /

检查 Linux 环境

1. 查看系统版本

bash
cat /etc/os-release
uname -m

预期输出示例:

text
NAME="<DISTRIBUTION>"
VERSION="<VERSION>"
ID=<ID>
PRETTY_NAME="<DISTRIBUTION_AND_VERSION>"

<ARCHITECTURE>

常见架构包括 x86_64 和 aarch64。安装包和 GPU 支持必须与系统架构匹配。

2. 查看 CPU 与内存

bash
lscpu
free -h

预期输出中应包含:

text
Architecture:        <ARCHITECTURE>
CPU(s):              <CPU_COUNT>
Model name:          <CPU_MODEL>

               total        used        free      shared  buff/cache   available
Mem:           <TOTAL>      <USED>      <FREE>    <SHARED> <CACHE>     <AVAILABLE>

判断可用内存时优先观察 available,不要只看 free。

3. 查看 GPU

通用检查:

bash
lspci | grep -Ei 'vga|3d|display'

预期输出示例:

text
<BUS_ID> <DEVICE_TYPE>: <GPU_VENDOR_AND_MODEL>

NVIDIA 设备可进一步执行:

bash
nvidia-smi

预期输出中应能看到驱动版本、GPU 型号、显存总量和当前占用。没有 NVIDIA GPU 或驱动未安装时,该命令可能不存在或返回错误。

4. 查看磁盘空间

bash
df -h /

预期输出示例:

text
Filesystem    Size    Used   Avail Use% Mounted on
<DEVICE>      <SIZE>  <USED> <FREE> <PERCENT> /

确定磁盘空间预算

Ollama 程序本身、模型文件和课程项目都需要空间。建议按以下部分规划:

空间用途 规划内容
Ollama 程序 安装文件、运行库和更新文件
模型目录 至少一个实验模型,后续可能增加多个量化版本
下载余量 模型下载和更新过程中的临时空间
项目目录 Python、JavaScript、RAG 文档和向量数据
日志与备份 服务日志、配置备份和测试数据
安全余量 避免磁盘接近写满导致下载或服务异常

Windows 官方文档提示程序安装本身至少需要约 4 GB 空间,模型还可能占用数 GB 到数百 GB。实际课程环境应根据计划下载的模型单独预留空间。

选择课程实验模型

第一阶段不应直接选择设备勉强才能运行的最大模型。推荐先选择:

  • 支持文本对话
  • 模型文件体积适中
  • 对中文有基本支持
  • 能在当前设备稳定加载
  • 模型库中有明确标签和说明
  • 后续 API 示例可以持续复用

选择顺序:

  1. 记录可用内存和显存。
  2. 为操作系统和应用保留安全余量。
  3. 选择中小参数规模的量化模型。
  4. 确保磁盘可容纳模型和后续项目。
  5. 安装后测试首字延迟和生成速度。
  6. 性能不足时再降低模型规模或量化等级。
  7. 资源有余量时再测试更大版本。

本章不固定唯一模型名称,避免模型库变化导致课程失效。后续命令中的 <MODEL> 统一替换为你实际选择的模型标签。

准备终端和开发工具

至少准备一个可正常执行命令的终端:

平台 推荐工具
Windows Windows Terminal、PowerShell
macOS Terminal、iTerm2
Linux Bash、Zsh 或发行版默认终端

后续 API 与项目课程还建议准备:

  • curl:测试 HTTP API
  • Python 3:完成 Python SDK 和 RAG 示例
  • Node.js:完成 JavaScript SDK 示例
  • Git:管理课程项目
  • 代码编辑器:编辑脚本和配置
  • Docker:用于后续容器化部署,当前阶段可以暂不安装

检查网络条件

模型首次下载依赖网络。应提前确认:

  • 能否访问 Ollama 下载和模型服务
  • 是否需要 HTTP 或 HTTPS 代理
  • 企业网络是否拦截大文件下载
  • 磁盘是否允许长时间写入
  • 终端是否继承代理环境变量
  • 下载中断后是否可以继续
  • 服务器是否只能通过跳板机访问外网

如果最终环境需要离线运行,应先在可联网环境完成程序和模型下载,再规划离线迁移和完整性验证。

建立课程目录

建议单独创建课程目录,不要把项目代码和模型存储目录混在一起。Linux 或 macOS 示例:

bash
mkdir -p ~/ollama-course/{projects,documents,configs,backups}
find ~/ollama-course -maxdepth 1 -type d | sort

预期输出示例:

text
<HOME>/ollama-course
<HOME>/ollama-course/backups
<HOME>/ollama-course/configs
<HOME>/ollama-course/documents
<HOME>/ollama-course/projects

Windows PowerShell 示例:

powershell
$base = Join-Path $HOME "ollama-course"
"projects", "documents", "configs", "backups" | ForEach-Object {
    New-Item -ItemType Directory -Force -Path (Join-Path $base $_) | Out-Null
}
Get-ChildItem $base -Directory | Select-Object Name

预期输出示例:

text
Name
----
backups
configs
documents
projects

模型文件由 Ollama 管理,不建议直接放入上述项目目录。后续如需迁移模型目录,应使用 Ollama 支持的环境变量和平台配置方式。

环境记录模板

完成检查后,保存以下记录:

text
操作系统:<OS_AND_VERSION>
系统架构:<ARCHITECTURE>
CPU 或芯片:<CPU_OR_CHIP>
物理内存:<MEMORY>
GPU:<GPU_MODEL_OR_NONE>
显存:<VRAM_OR_UNIFIED_MEMORY>
可用磁盘:<FREE_DISK_SPACE>
终端:<TERMINAL>
curl:<AVAILABLE_OR_MISSING>
Python:<VERSION_OR_MISSING>
Node.js:<VERSION_OR_MISSING>
Docker:<VERSION_OR_NOT_INSTALLED>
网络或代理:<NETWORK_STATUS>
计划模型:<MODEL>
模型存储位置:<DEFAULT_OR_PLANNED_PATH>
课程项目目录:<PROJECT_PATH>

进入安装阶段的验收标准

满足以下条件后,可以进入下一章:

  • 操作系统满足当前 Ollama 官方要求
  • 已确认系统架构
  • 有足够的可用磁盘空间
  • 已记录物理内存和 GPU 情况
  • 已选择一个设备能够承载的实验模型范围
  • 终端能够正常执行命令
  • 网络可以完成程序和模型下载
  • 已建立独立课程项目目录
  • 已记录代理或企业网络限制
  • 知道后续需要在哪个平台学习服务管理

常见准备错误

1. 只检查总内存,不检查可用内存

浏览器、IDE 和其他程序会占用大量内存。运行模型前应关闭不必要程序,并观察实际可用内存。

2. 只检查显卡型号,不检查驱动和支持情况

GPU 型号符合要求,但驱动过旧或容器未映射设备时,模型仍可能使用 CPU。

3. 磁盘空间刚好等于模型大小

模型下载、更新、日志和项目数据都需要额外空间。磁盘接近写满会导致下载失败和服务异常。

4. 一开始就选择最大模型

最大模型可能导致加载失败、输出过慢或无法完成后续并发实验。课程初期应优先保证稳定可复现。

5. 忽略企业网络代理

安装程序可以下载不代表模型大文件一定可以下载。应提前测试目标环境的网络和代理行为。

本课练习

练习 1:完成设备清单

任务目标:建立可复现的实验环境记录。初始条件:使用你准备学习课程的设备。

实现要求:填写操作系统、架构、CPU、内存、GPU、显存、磁盘和终端信息。

验收条件:所有字段都有具体值;没有独立 GPU 时明确写为“无”。

练习 2:制定模型空间预算

任务目标:避免模型下载导致磁盘不足。初始条件:计划保留 3 个模型版本,并保存 RAG 文档和向量索引。

实现要求:为模型、项目、日志、备份和安全余量分别分配空间。

验收条件:预算总量小于当前可用磁盘,并保留明确的安全余量。

练习 3:选择实验模型范围

任务目标:把硬件资源转化为模型选择条件。初始条件:已知设备的可用内存和显存。

实现要求:给出可优先测试的参数规模和量化范围,并说明排除更大模型的原因。

验收条件:结论同时考虑权重、KV Cache、操作系统占用和性能要求。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

规划课程实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通