大模型应用开发 / 系统课时

调用视觉模型

调用视觉模型

学习目标

完成本课后,你将能够:

  • 选择支持视觉输入的模型
  • 通过 CLI、原生 API 和 Python SDK提交图片
  • 控制图片路径、格式和请求大小
  • 识别视觉描述、OCR 和精确计数的能力边界

视觉请求包含什么

视觉模型同时接收文本和图片。文本负责说明任务,图片提供视觉信息。模型可以描述、分类、回答图片问题或提取部分文字,但准确率取决于模型、图片质量和任务复杂度。

确认模型能力

查看模型详情:

bash
ollama show <VISION_MODEL>

预期输出中应包含视觉相关能力:

text
Capabilities
  vision
  <OTHER_CAPABILITIES>

<VISION_MODEL> 替换为当前模型库中明确支持视觉的模型。没有 vision 能力时,不应仅凭名称发送图片。

CLI 快速验证

准备图片 sample.png,执行:

bash
ollama run <VISION_MODEL> "请描述这张图片中的主要内容。 ./sample.png"

预期输出:

text
<IMAGE_DESCRIPTION>

CLI 对图片路径的识别方式可能随版本变化,应先通过 ollama run --help 或官方视觉文档确认当前语法。

Python SDK 示例

保存为 vision_chat.py:

python
from pathlib import Path
from ollama import chat

image_path = Path("sample.png")
if not image_path.is_file():
    raise SystemExit("缺少 sample.png")

response = chat(
    model="<VISION_MODEL>",
    messages=[
        {
            "role": "user",
            "content": (
                "描述图片中的主要对象、位置关系和可见文字。"
                "无法确认的内容请明确说明。"
            ),
            "images": [str(image_path)],
        }
    ],
)

print(response["message"]["content"].strip())

运行:

bash
python vision_chat.py

预期输出:

text
<VISION_MODEL_RESPONSE>

模型名必须替换为已下载且支持视觉的模型。

原生 API 的图片字段

原生聊天 API 的消息可以包含 images 数组。通过 HTTP 直接调用时,图片通常需要编码为 Base64 字符串。应用应在发送前限制:

  • 文件类型
  • 文件大小
  • 像素尺寸
  • 图片数量
  • 解码后的内存占用
  • EXIF 和敏感元数据

不要把用户提供的任意路径直接交给服务器读取。

提高识别质量

  • 保证图片清晰,避免过度压缩。
  • 裁剪无关边缘,让目标占据足够面积。
  • OCR 任务使用高对比度和足够分辨率。
  • 一次问题只要求一个清晰目标。
  • 精确提取使用结构化输出并做校验。
  • 对关键字段使用传统 OCR 或人工复核。
  • 要求模型区分“看见”与“推测”。

视觉能力边界

视觉模型常见风险:

  • 小字、模糊字和手写体识别错误
  • 对数量和空间关系估计不准
  • 把遮挡对象补全为不存在内容
  • 读取图表时混淆坐标轴
  • 对截图中的按钮或状态做过度推断
  • 无法证明图片真实来源

视觉回答不能替代安全检测、医疗诊断或精确工业测量。

数据安全

本地模型减少图片外发,但应用仍应检查:

  • 上传目录权限
  • 临时文件清理
  • 日志是否记录 Base64
  • EXIF 是否包含位置
  • 图片是否被备份
  • 多用户之间是否隔离
  • 工具调用是否把图片发送到外部

本地运行不是完整的数据治理方案。

本课练习

练习 1:对比清晰度

任务目标:观察图片质量对回答的影响。输入或初始条件:同一图片的清晰版和压缩版。实现要求:使用相同提示词比较。验收条件:记录可见细节和错误差异。

练习 2:结构化图片描述

任务目标:结合视觉与 Schema。输入或初始条件:一张包含多个对象的图片。实现要求:输出对象数组、数量和不确定项。验收条件:JSON 可解析且关键字段人工复核。

练习 3:设计上传校验

任务目标:保护视觉接口。输入或初始条件:业务允许用户上传图片。实现要求:定义类型、大小、尺寸、数量和临时文件规则。验收条件:非法文件在模型调用前被拒绝。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调用视觉模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通