计算机视觉 / 系统课时
对齐两幅图像
对齐两幅图像
图像对齐的目标是把“移动图”变换到“参考图”的坐标系,使同一物体或区域落在相同像素位置。本节直接使用单应性矩阵和 cv2.warpPerspective() 完成透视变换,并通过输出尺寸与特征中心验证对齐结果。
学习目标
- 明确单应性矩阵的变换方向与目标坐标系。
- 使用
cv2.warpPerspective()将一幅图像映射到另一幅图像。 - 通过尺寸、叠加误差或关键位置检查对齐质量。
先确定变换方向
如果单应性矩阵 H 是由“移动图中的点”映射到“参考图中的点”得到的,那么可以直接把移动图与 H 传给 cv2.warpPerspective()。输出尺寸应使用参考图的宽和高,这样结果天然处于参考图坐标系。
若手里已有的是相反方向,即“参考图 → 移动图”的矩阵,则需要先求逆,或重新交换点集估计。方向搞反是图像飞出画面、只剩黑边或内容位置完全错误的常见原因。

执行透视对齐
下面用程序生成一幅参考图,再人为施加透视变换得到移动图,最后使用逆矩阵把移动图重新对齐到参考图。这样示例无需外部图片即可直接运行。
import cv2
import numpy as np
reference = np.zeros((240, 320, 3), dtype=np.uint8)
cv2.rectangle(reference, (50, 40), (270, 190), (255, 255, 255), 3)
cv2.circle(reference, (160, 120), 35, (0, 255, 0), -1)
cv2.putText(
reference, "ALIGN", (90, 220),
cv2.FONT_HERSHEY_SIMPLEX, 1.0,
(255, 255, 255), 2, cv2.LINE_AA
)
h_ref_to_moving = np.array([
[1.0, 0.04, 18.0],
[-0.03, 1.0, 14.0],
[0.0002, 0.0001, 1.0]
], dtype=np.float64)
size = (reference.shape[1], reference.shape[0])
moving = cv2.warpPerspective(reference, h_ref_to_moving, size)
h_moving_to_ref = np.linalg.inv(h_ref_to_moving) # 已有矩阵方向相反,因此求逆
aligned = cv2.warpPerspective(moving, h_moving_to_ref, size)
green = (
(aligned[:, :, 1] > 200)
& (aligned[:, :, 0] < 50)
& (aligned[:, :, 2] < 50)
)
ys, xs = np.where(green)
center = (round(float(xs.mean())), round(float(ys.mean())))
print("reference_shape:", reference.shape)
print("aligned_shape:", aligned.shape)
print("aligned_center:", center)
print("saved:", cv2.imwrite("aligned.png", aligned))预期输出
reference_shape: (240, 320, 3)
aligned_shape: (240, 320, 3)
aligned_center: (160, 120)
saved: True输出表明对齐结果与参考图尺寸一致,绿色圆形中心回到参考坐标 (160, 120)。aligned.png 会写入当前工作目录,可与参考图叠加查看边缘是否重合。
输出画布与插值会影响结果
dsize 决定输出画布大小,而不是自动根据变换后的内容扩展边界。若目标区域经过变换后超出参考图范围,超出的部分会被裁掉;如果业务需要保留完整内容,应先变换四个角点,计算新的包围范围,再额外加入平移矩阵。
warpPerspective() 默认使用线性插值,适合普通灰度图和彩色图。处理分割标签、类别掩码等离散数据时,应改用最近邻插值,避免插值产生不存在的类别值。
对齐失败时先查三件事
首先确认 H 的方向是否为移动图到参考图;其次确认 dsize 是否采用参考图尺寸;最后回看估计单应性时的内点是否足够且分布均匀。若这三项正确但局部仍无法重合,通常意味着场景不是单一平面,或存在明显视差,此时单个全局单应性矩阵本身就不足以描述两幅图之间的几何关系。