计算机视觉 / 系统课时
对齐两幅图像
对齐两幅图像
两张图像只要拍摄位置、角度或裁剪范围不同,像素坐标就不能直接比较。本课使用 ORB 特征、Hamming 距离匹配和 RANSAC 单应矩阵,把待对齐图像映射到参考图像坐标系,并用内点率与半透明叠加图检查结果。
学习目标
- 判断什么时候可以用单应矩阵完成两幅图像的统一坐标映射。
- 用 ORB、KNN 匹配和比值筛选得到可靠对应点。
- 通过
findHomography与warpPerspective完成配准并验证结果。
先选择合适的几何模型
单应矩阵适合近似平面目标,例如海报、文档、墙面,或者相机主要发生旋转的场景。一个 3×3 单应矩阵按比例等价后有 8 个独立自由度,至少需要 4 对不共线对应点;实际自动匹配不应只满足数学下限,本例少于 12 个通过筛选的匹配就直接停止。
如果两张照片同时包含近景和远景,并且相机发生明显平移,视差会导致一个全局单应矩阵无法让不同深度同时重合。此时应限制感兴趣区域,或者改用局部配准、光流或三维方法,而不是不断放宽 RANSAC 阈值。
| 场景 | 建议模型 | OpenCV 接口 |
|---|---|---|
| 只发生平移 | 平移模型 | phaseCorrelate 或构造平移矩阵 |
| 平移、旋转、等比缩放为主 | 部分仿射 | estimateAffinePartial2D |
| 平面目标发生透视变化 | 单应矩阵 | findHomography |
从局部特征建立对应关系
ORB 会在两幅图像中独立寻找关键点,并计算二进制描述子。对 ORB 描述子应使用 NORM_HAMMING;本例采用 knnMatch(..., k=2),然后用 0.75 比值筛选,只保留最近邻明显优于次近邻的匹配。通过筛选的点再交给 RANSAC,以 3.0 px 作为重投影误差阈值估计单应矩阵。

完整实现 ORB 图像对齐
下面脚本读取 reference.jpg 与 moving.jpg。src_pts 来自待对齐图,dst_pts 来自参考图,因此求出的单应矩阵表示 moving 到 reference 的映射。输出的 aligned.png 与参考图尺寸一致,同时生成 overlay.png 方便检查是否存在双重边缘。
import cv2 as cv
import numpy as np
def align_images(reference: np.ndarray, moving: np.ndarray):
gray_ref = cv.cvtColor(reference, cv.COLOR_BGR2GRAY)
gray_mov = cv.cvtColor(moving, cv.COLOR_BGR2GRAY)
orb = cv.ORB_create(nfeatures=2000, scaleFactor=1.2, nlevels=8)
kp_ref, des_ref = orb.detectAndCompute(gray_ref, None)
kp_mov, des_mov = orb.detectAndCompute(gray_mov, None)
if des_ref is None or des_mov is None:
raise RuntimeError("Not enough texture to compute ORB descriptors")
matcher = cv.BFMatcher(cv.NORM_HAMMING, crossCheck=False)
pairs = matcher.knnMatch(des_mov, des_ref, k=2)
good = []
for pair in pairs:
if len(pair) < 2:
continue
best, second = pair
if best.distance < 0.75 * second.distance:
good.append(best)
if len(good) < 12:
raise RuntimeError(f"Too few reliable matches: {len(good)}")
src_pts = np.float32(
[kp_mov[m.queryIdx].pt for m in good]
).reshape(-1, 1, 2)
dst_pts = np.float32(
[kp_ref[m.trainIdx].pt for m in good]
).reshape(-1, 1, 2)
homography, mask = cv.findHomography(
src_pts, dst_pts, cv.RANSAC, 3.0
)
if homography is None or mask is None:
raise RuntimeError("Homography estimation failed")
height, width = reference.shape[:2]
aligned = cv.warpPerspective(moving, homography, (width, height))
inliers = int(mask.ravel().sum())
inlier_ratio = inliers / len(good)
return aligned, len(kp_mov), len(kp_ref), len(good), inliers, inlier_ratio
def main() -> None:
reference = cv.imread("reference.jpg")
moving = cv.imread("moving.jpg")
if reference is None or moving is None:
raise FileNotFoundError(
"Place reference.jpg and moving.jpg in the current directory"
)
aligned, kp_mov, kp_ref, good, inliers, ratio = align_images(
reference, moving
)
overlay = cv.addWeighted(reference, 0.5, aligned, 0.5, 0)
if not cv.imwrite("aligned.png", aligned):
raise RuntimeError("Failed to write aligned.png")
if not cv.imwrite("overlay.png", overlay):
raise RuntimeError("Failed to write overlay.png")
print(f"keypoints: moving={kp_mov}, reference={kp_ref}")
print(f"good_matches={good}")
print(f"inliers={inliers}/{good}")
print(f"inlier_ratio={ratio:.3f}")
print("saved = aligned.png, overlay.png")
if __name__ == "__main__":
main()预期输出如下,关键点数、匹配数和内点率会随图片内容变化。
keypoints: moving=<COUNT>, reference=<COUNT>
good_matches=<COUNT>
inliers=<COUNT>/<COUNT>
inlier_ratio=<RATIO>
saved = aligned.png, overlay.png用内点率和叠加图验收
先看 inlier_ratio。它不是固定质量分数,但在同一组图片上很适合做回归检查:如果原本约 0.65,修改参数后突然降到 0.20,通常说明匹配中混入了大量外点。对本例可以把低于 0.30 当作排查信号,但不能把这个数值当成所有图像都适用的硬性合格线。
再打开 overlay.png 检查高对比边缘。对齐良好时,门框、文字笔画或物体轮廓应基本重合;若整幅图出现方向一致的双边缘,可以把 RANSAC 阈值从 3.0 px 尝试收紧到 2.0 px。如果只有某个深度层重合、其他区域明显分离,则通常是视差问题。
处理低纹理与重复纹理
低纹理墙面、天空或失焦区域可能让 ORB 找不到足够稳定的关键点。可以先把 nfeatures 从 2000 提高到 4000,并确认两张图存在足够大的共同区域;若仍然只有个位数可靠匹配,不应把最少匹配数直接降低到 4,而应换用纹理更丰富的区域或其他特征方法。
重复窗格、地砖等纹理容易产生位置错误但外观相似的匹配。可把比值筛选从 0.75 收紧到 0.70,同时检查 RANSAC 内点是否分布在画面的多个区域。如果全部内点都挤在一个小角落,即使内点率较高,单应矩阵向整幅图外推仍可能不稳定,应增加空间分布检查或改用更适合当前场景的几何模型。