大模型应用开发 / 系统课时
调用视觉模型
调用视觉模型
学习目标
完成本课后,你将能够:
- 选择支持视觉输入的模型
- 通过 CLI、原生 API 和 Python SDK提交图片
- 控制图片路径、格式和请求大小
- 识别视觉描述、OCR 和精确计数的能力边界
视觉请求包含什么
视觉模型同时接收文本和图片。文本负责说明任务,图片提供视觉信息。模型可以描述、分类、回答图片问题或提取部分文字,但准确率取决于模型、图片质量和任务复杂度。
确认模型能力
查看模型详情:
bash
ollama show <VISION_MODEL>预期输出中应包含视觉相关能力:
text
Capabilities
vision
<OTHER_CAPABILITIES><VISION_MODEL> 替换为当前模型库中明确支持视觉的模型。没有 vision 能力时,不应仅凭名称发送图片。
CLI 快速验证
准备图片 sample.png,执行:
bash
ollama run <VISION_MODEL> "请描述这张图片中的主要内容。 ./sample.png"预期输出:
text
<IMAGE_DESCRIPTION>CLI 对图片路径的识别方式可能随版本变化,应先通过 ollama run --help 或官方视觉文档确认当前语法。
Python SDK 示例
保存为 vision_chat.py:
python
from pathlib import Path
from ollama import chat
image_path = Path("sample.png")
if not image_path.is_file():
raise SystemExit("缺少 sample.png")
response = chat(
model="<VISION_MODEL>",
messages=[
{
"role": "user",
"content": (
"描述图片中的主要对象、位置关系和可见文字。"
"无法确认的内容请明确说明。"
),
"images": [str(image_path)],
}
],
)
print(response["message"]["content"].strip())运行:
bash
python vision_chat.py预期输出:
text
<VISION_MODEL_RESPONSE>模型名必须替换为已下载且支持视觉的模型。
原生 API 的图片字段
原生聊天 API 的消息可以包含 images 数组。通过 HTTP 直接调用时,图片通常需要编码为 Base64 字符串。应用应在发送前限制:
- 文件类型
- 文件大小
- 像素尺寸
- 图片数量
- 解码后的内存占用
- EXIF 和敏感元数据
不要把用户提供的任意路径直接交给服务器读取。
提高识别质量
- 保证图片清晰,避免过度压缩。
- 裁剪无关边缘,让目标占据足够面积。
- OCR 任务使用高对比度和足够分辨率。
- 一次问题只要求一个清晰目标。
- 精确提取使用结构化输出并做校验。
- 对关键字段使用传统 OCR 或人工复核。
- 要求模型区分“看见”与“推测”。
视觉能力边界
视觉模型常见风险:
- 小字、模糊字和手写体识别错误
- 对数量和空间关系估计不准
- 把遮挡对象补全为不存在内容
- 读取图表时混淆坐标轴
- 对截图中的按钮或状态做过度推断
- 无法证明图片真实来源
视觉回答不能替代安全检测、医疗诊断或精确工业测量。
数据安全
本地模型减少图片外发,但应用仍应检查:
- 上传目录权限
- 临时文件清理
- 日志是否记录 Base64
- EXIF 是否包含位置
- 图片是否被备份
- 多用户之间是否隔离
- 工具调用是否把图片发送到外部
本地运行不是完整的数据治理方案。
本课练习
练习 1:对比清晰度
任务目标:观察图片质量对回答的影响。输入或初始条件:同一图片的清晰版和压缩版。实现要求:使用相同提示词比较。验收条件:记录可见细节和错误差异。
练习 2:结构化图片描述
任务目标:结合视觉与 Schema。输入或初始条件:一张包含多个对象的图片。实现要求:输出对象数组、数量和不确定项。验收条件:JSON 可解析且关键字段人工复核。
练习 3:设计上传校验
任务目标:保护视觉接口。输入或初始条件:业务允许用户上传图片。实现要求:定义类型、大小、尺寸、数量和临时文件规则。验收条件:非法文件在模型调用前被拒绝。
按自己的节奏,确认真正理解。