机器学习与深度学习 / 系统课时

图像分割与生成

图像分割与生成

检测框能定位对象,掩码能描述更精细的区域。图像生成负责合成或修改图像内容。两者经常组合,例如先分割出商品,再把区域作为局部重绘的条件。

学习目标

  • 分辨语义、实例和全景分割的输出。
  • 让离散掩码与图像对齐,并按约定计算区域 IoU。
  • 区分生成与分割,理解局部重绘的掩码约定及复核方式。

分割任务交付什么

任务 典型输出 例子
语义分割 每个已标注像素的类别 ID 两辆相接的车可共享“汽车”类别
实例分割 每个对象独立掩码及其类别 两辆车各有一个掩码。单图实例编号不会自动成为视频跟踪 ID
全景分割 对整图给语义区域,同时区分可数对象实例,像素分配到一个区段 道路按语义描述,车辆按实例区分

语义分割实例分割与图像生成的输出差异

模型输出可能低于原图分辨率,需按模型与评估流程还原尺寸和几何位置。对离散类别 ID 或实例掩码做缩放时,通常采用最近邻之类保持标签值的处理;可对连续 logits 插值再取类别,但要明确在哪一步离散化。裁切、翻转和填充须与图像同步,忽略标签也应随掩码保留。 Torchvision Resize 插值方式 全景分割原论文

评估像素区域

单类 IoU 是预测和真实区域的交集像素数除以并集像素数。某类在两侧都未出现时,并集为 0。不同评估实现会排除这一类或使用特殊值,必须写清口径。语义分割的平均 IoU 还要说明统计哪些类别、是否含背景、如何处理忽略像素。实例分割应评估按对象匹配后的掩码质量,不能把一个类别的所有实例合在一起算 IoU 代替。 TorchMetrics mean IoU 约定

生成与掩码如何协作

生成可以无条件采样,也可由文本、参考图、草图或掩码约束。一类扩散模型从噪声出发逐步去噪;潜空间扩散在压缩表示上做这部分计算,再解码得到像素。还原、去噪、超分辨率等图像到图像任务,应按是否要恢复输入还是合成内容以及评估目标分别定义。 潜空间扩散原论文

局部重绘以掩码给出编辑范围。以 Hugging Face Diffusers 的重绘输入为例,白色表示重绘区域,黑色表示保留区域。其他接口需确认极性和输入尺寸。若交付要求区域外逐像素一致,应验证实际输出,必要时将候选严格按掩码与原图合成。硬边合成可能出现接缝,任何羽化都要与允许改动的区域一致。 Diffusers 重绘输入和遮罩说明

可运行示例:算 IoU 并验证编辑区域

这个 NumPy 示例用两个类别 ID 的小掩码演示 IoU,再用一个人工候选演示严格区域合成。它不会运行生成模型。忽略值 255 只由真实标注指定,IoU 在有效像素上计算。

python
import numpy as np


def class_iou(truth, pred, class_id, ignore_id=255):
    if truth.shape != pred.shape:
        raise ValueError("prediction and mask must align")
    valid = truth != ignore_id
    left = (truth == class_id) & valid
    right = (pred == class_id) & valid
    union = np.count_nonzero(left | right)
    return np.count_nonzero(left & right) / union if union else None


truth = np.array([[0, 1, 1], [0, 0, 1]])
pred = np.array([[0, 1, 0], [0, 0, 1]])
print(f"foreground IoU={class_iou(truth, pred, 1):.3f}")
print("absent class:", class_iou(truth, pred, 2))

original = np.full((2, 3, 3), 80, dtype=np.uint8)
candidate = np.full_like(original, 200)
edit = pred == 1
composited = np.where(edit[..., None], candidate, original)
print("edited pixels:", int(edit.sum()))
print("unchanged outside:", np.array_equal(composited[~edit], original[~edit]))
text
foreground IoU=0.667
absent class: None
edited pixels: 2
unchanged outside: True

本课练习

把第一行第三个真实标签改成 255,比较忽略前后前景 IoU。然后反转合成掩码并检查变化区域,说明为什么对接模型之前要确认掩码极性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

图像分割与生成

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通