计算机视觉 / 系统课时

对齐两幅图像

对齐两幅图像

图像对齐的目标是把“移动图”变换到“参考图”的坐标系,使同一物体或区域落在相同像素位置。本节直接使用单应性矩阵和 cv2.warpPerspective() 完成透视变换,并通过输出尺寸与特征中心验证对齐结果。

学习目标

  • 明确单应性矩阵的变换方向与目标坐标系。
  • 使用 cv2.warpPerspective() 将一幅图像映射到另一幅图像。
  • 通过尺寸、叠加误差或关键位置检查对齐质量。

先确定变换方向

如果单应性矩阵 H 是由“移动图中的点”映射到“参考图中的点”得到的,那么可以直接把移动图与 H 传给 cv2.warpPerspective()。输出尺寸应使用参考图的宽和高,这样结果天然处于参考图坐标系。

若手里已有的是相反方向,即“参考图 → 移动图”的矩阵,则需要先求逆,或重新交换点集估计。方向搞反是图像飞出画面、只剩黑边或内容位置完全错误的常见原因。

两幅图像通过单应性矩阵完成空间对齐

执行透视对齐

下面用程序生成一幅参考图,再人为施加透视变换得到移动图,最后使用逆矩阵把移动图重新对齐到参考图。这样示例无需外部图片即可直接运行。

python
import cv2
import numpy as np

reference = np.zeros((240, 320, 3), dtype=np.uint8)
cv2.rectangle(reference, (50, 40), (270, 190), (255, 255, 255), 3)
cv2.circle(reference, (160, 120), 35, (0, 255, 0), -1)
cv2.putText(
    reference, "ALIGN", (90, 220),
    cv2.FONT_HERSHEY_SIMPLEX, 1.0,
    (255, 255, 255), 2, cv2.LINE_AA
)

h_ref_to_moving = np.array([
    [1.0, 0.04, 18.0],
    [-0.03, 1.0, 14.0],
    [0.0002, 0.0001, 1.0]
], dtype=np.float64)

size = (reference.shape[1], reference.shape[0])
moving = cv2.warpPerspective(reference, h_ref_to_moving, size)

h_moving_to_ref = np.linalg.inv(h_ref_to_moving)  # 已有矩阵方向相反,因此求逆
aligned = cv2.warpPerspective(moving, h_moving_to_ref, size)

green = (
    (aligned[:, :, 1] > 200)
    & (aligned[:, :, 0] < 50)
    & (aligned[:, :, 2] < 50)
)
ys, xs = np.where(green)
center = (round(float(xs.mean())), round(float(ys.mean())))

print("reference_shape:", reference.shape)
print("aligned_shape:", aligned.shape)
print("aligned_center:", center)
print("saved:", cv2.imwrite("aligned.png", aligned))

预期输出

text
reference_shape: (240, 320, 3)
aligned_shape: (240, 320, 3)
aligned_center: (160, 120)
saved: True

输出表明对齐结果与参考图尺寸一致,绿色圆形中心回到参考坐标 (160, 120)。aligned.png 会写入当前工作目录,可与参考图叠加查看边缘是否重合。

输出画布与插值会影响结果

dsize 决定输出画布大小,而不是自动根据变换后的内容扩展边界。若目标区域经过变换后超出参考图范围,超出的部分会被裁掉;如果业务需要保留完整内容,应先变换四个角点,计算新的包围范围,再额外加入平移矩阵。

warpPerspective() 默认使用线性插值,适合普通灰度图和彩色图。处理分割标签、类别掩码等离散数据时,应改用最近邻插值,避免插值产生不存在的类别值。

对齐失败时先查三件事

首先确认 H 的方向是否为移动图到参考图;其次确认 dsize 是否采用参考图尺寸;最后回看估计单应性时的内点是否足够且分布均匀。若这三项正确但局部仍无法重合,通常意味着场景不是单一平面,或存在明显视差,此时单个全局单应性矩阵本身就不足以描述两幅图之间的几何关系。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

对齐两幅图像

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通