机器学习与深度学习 / 系统课时
图像分割与生成
图像分割与生成
检测框能定位对象,掩码能描述更精细的区域。图像生成负责合成或修改图像内容。两者经常组合,例如先分割出商品,再把区域作为局部重绘的条件。
学习目标
- 分辨语义、实例和全景分割的输出。
- 让离散掩码与图像对齐,并按约定计算区域 IoU。
- 区分生成与分割,理解局部重绘的掩码约定及复核方式。
分割任务交付什么
| 任务 | 典型输出 | 例子 |
|---|---|---|
| 语义分割 | 每个已标注像素的类别 ID | 两辆相接的车可共享“汽车”类别 |
| 实例分割 | 每个对象独立掩码及其类别 | 两辆车各有一个掩码。单图实例编号不会自动成为视频跟踪 ID |
| 全景分割 | 对整图给语义区域,同时区分可数对象实例,像素分配到一个区段 | 道路按语义描述,车辆按实例区分 |

模型输出可能低于原图分辨率,需按模型与评估流程还原尺寸和几何位置。对离散类别 ID 或实例掩码做缩放时,通常采用最近邻之类保持标签值的处理;可对连续 logits 插值再取类别,但要明确在哪一步离散化。裁切、翻转和填充须与图像同步,忽略标签也应随掩码保留。 Torchvision Resize 插值方式 全景分割原论文
评估像素区域
单类 IoU 是预测和真实区域的交集像素数除以并集像素数。某类在两侧都未出现时,并集为 0。不同评估实现会排除这一类或使用特殊值,必须写清口径。语义分割的平均 IoU 还要说明统计哪些类别、是否含背景、如何处理忽略像素。实例分割应评估按对象匹配后的掩码质量,不能把一个类别的所有实例合在一起算 IoU 代替。 TorchMetrics mean IoU 约定
生成与掩码如何协作
生成可以无条件采样,也可由文本、参考图、草图或掩码约束。一类扩散模型从噪声出发逐步去噪;潜空间扩散在压缩表示上做这部分计算,再解码得到像素。还原、去噪、超分辨率等图像到图像任务,应按是否要恢复输入还是合成内容以及评估目标分别定义。 潜空间扩散原论文
局部重绘以掩码给出编辑范围。以 Hugging Face Diffusers 的重绘输入为例,白色表示重绘区域,黑色表示保留区域。其他接口需确认极性和输入尺寸。若交付要求区域外逐像素一致,应验证实际输出,必要时将候选严格按掩码与原图合成。硬边合成可能出现接缝,任何羽化都要与允许改动的区域一致。 Diffusers 重绘输入和遮罩说明
可运行示例:算 IoU 并验证编辑区域
这个 NumPy 示例用两个类别 ID 的小掩码演示 IoU,再用一个人工候选演示严格区域合成。它不会运行生成模型。忽略值 255 只由真实标注指定,IoU 在有效像素上计算。
import numpy as np
def class_iou(truth, pred, class_id, ignore_id=255):
if truth.shape != pred.shape:
raise ValueError("prediction and mask must align")
valid = truth != ignore_id
left = (truth == class_id) & valid
right = (pred == class_id) & valid
union = np.count_nonzero(left | right)
return np.count_nonzero(left & right) / union if union else None
truth = np.array([[0, 1, 1], [0, 0, 1]])
pred = np.array([[0, 1, 0], [0, 0, 1]])
print(f"foreground IoU={class_iou(truth, pred, 1):.3f}")
print("absent class:", class_iou(truth, pred, 2))
original = np.full((2, 3, 3), 80, dtype=np.uint8)
candidate = np.full_like(original, 200)
edit = pred == 1
composited = np.where(edit[..., None], candidate, original)
print("edited pixels:", int(edit.sum()))
print("unchanged outside:", np.array_equal(composited[~edit], original[~edit]))foreground IoU=0.667
absent class: None
edited pixels: 2
unchanged outside: True本课练习
把第一行第三个真实标签改成 255,比较忽略前后前景 IoU。然后反转合成掩码并检查变化区域,说明为什么对接模型之前要确认掩码极性。