大模型应用开发 / 系统课时
分析图像内容
分析图像内容
多模态图像分析的核心是把“图像”和“文本任务”放进同一次模型请求,并把问题写成可验证的输出要求。本课用一个完整示例完成图像描述、分类与视觉问答,并说明输入准备、提示词设计和结果校验的关键边界。
学习目标
- 将本地图像编码后与文本指令一起提交给支持视觉输入的模型
- 用明确的任务约束完成描述、分类和视觉问答
- 识别分辨率、格式、隐私和视觉不确定性带来的边界
把图像和任务一起提交
图像本身只提供视觉信息,文本指令决定模型要完成什么任务。同一张图片可以被要求“描述画面”“判断类别”“读取图中文字”或“回答某个视觉问题”。因此不要只发送图片后期待模型自动猜测业务目标。
下面示例读取本地 sample.jpg,转成 Data URL,与文本指令一起提交。运行前需要安装 openai Python SDK,并在环境变量 OPENAI_API_KEY 中配置可用密钥。
import base64
import mimetypes
import os
from pathlib import Path
from openai import OpenAI
image_path = Path("sample.jpg")
if not image_path.exists():
raise FileNotFoundError("请在当前目录准备 sample.jpg")
mime_type = mimetypes.guess_type(image_path.name)[0] or "image/jpeg"
encoded = base64.b64encode(image_path.read_bytes()).decode("ascii")
data_url = f"data:{mime_type};base64,{encoded}"
if not os.getenv("OPENAI_API_KEY"):
raise RuntimeError("缺少 OPENAI_API_KEY")
client = OpenAI()
response = client.responses.create(
model="gpt-5-mini",
input=[{
"role": "user",
"content": [
{
"type": "input_text",
"text": (
"分析这张图片,并按三行回答:"
"描述:一句话概括主要内容;"
"分类:从 人物/动物/食物/文档/场景/其他 中选一个;"
"问答:画面中最醒目的对象是什么?"
"不确定时明确写“不确定”,不要猜测看不清的细节。"
),
},
{
"type": "input_image",
"image_url": data_url,
},
],
}],
)
print(response.output_text)预期输出
描述:<VALUE>
分类:<VALUE>
问答:<VALUE><VALUE> 会随 sample.jpg 的实际内容变化。验证时重点检查三点:输出是否严格完成三个任务、分类是否只来自给定集合、看不清的信息是否被明确标记为不确定,而不是凭空补全。
用任务约束减少含糊回答
视觉模型并不知道业务上什么信息最重要。相比“看看这张图”,更有效的指令应说明观察目标、允许的分类集合、输出格式和不确定性处理方式。这样结果更容易进入后续程序,而不是只能由人阅读。
如果要做商品质检,可以要求“只检查包装破损、标签缺失、封口异常”;如果做票据识别,可以要求“只提取日期、总额、币种,并对看不清字段返回 null”。任务越具体,越容易判断结果是否可接受。
控制输入质量和成本
图像过小会丢失细节,过大的图片又会增加上传、编码和模型处理成本。实际接入时应先做尺寸和格式校验,必要时缩放到足以完成任务的分辨率;拍照文档还要关注旋转、反光、阴影和裁切。
Data URL 适合本地文件直接提交,但会让请求体明显变大。服务端批量处理时,可以根据所用 API 的能力改用受控文件上传或可访问的对象存储地址,并设置访问期限。无论采用哪种方式,都不要把长期有效的私有图片地址暴露给无关系统。
视觉结果仍然需要业务校验
图像模型可能误读小字、遮挡物、相似类别或复杂空间关系。高风险场景不能只看“模型有没有返回答案”,还要检查置信证据、业务规则和人工复核门槛。例如身份证明、医疗影像、支付凭证等任务,应把模型定位为辅助分析,而不是无条件的最终裁决者。
对于普通内容识别,最实用的验收方式是准备一组已知答案的样例图,固定提示词后批量运行,记录分类准确率、关键字段缺失率和“不确定”比例。只有结果在你的业务样本上稳定,接口接通才算真正完成。