机器人 / 系统课时
图像特征匹配怎样提供相机运动线索
图像特征匹配怎样提供相机运动线索
相机连续拍摄两帧图像时,同一处静态纹理会出现在不同像素位置。本篇用 ORB 提取角点与描述符,通过跨帧匹配和几何验证获得运动线索,并辨别哪些匹配不能用于可靠定位。
学习目标
- 说清角点、描述符、匹配点对各自承担的任务。
- 使用汉明距离、比值检验和 RANSAC 剔除错误对应。
- 区分像素位移、相机相对位姿与单目尺度的限制。
寻找能再次认出的角点
相机运动后,需要在后一帧重新找到前一帧的同一处位置。墙面上的纯色区域难以区分,门框交点、海报边角和有纹理的物体则更容易被重复检测。ORB 使用 FAST 检测候选角点,再为关键点计算方向和二进制描述符。
例如在 640×480 灰度图中,可先用 cv2.ORB_create(nfeatures=1000) 设置最多保留约 1000 个关键点。该参数是目标上限,不保证每帧都有 1000 个;弱纹理、失焦和过曝时可能只有几十个。一个角点坐标只表示图像位置,不能单独说明三维深度。
用描述符筛选跨帧对应
ORB 的常见描述符为 256 位二进制串。cv2.BFMatcher(cv2.NORM_HAMMING) 比较两串相异比特的数量;距离越小,局部外观通常越接近,但并不保证来自同一物体。
对前一帧每个描述符寻找后一帧的两个最近邻,采用 0.75 比值阈值:最近距离 28、次近距离 60 时,28/60≈0.47,可暂时保留;若为 48 和 55,48/55≈0.87,则应丢弃。重复窗格、地砖和运动人群仍可能产生看似相近的错误匹配,因此不能直接把通过检验的点当作相机位姿。
从几何一致性得到运动约束
一组可靠匹配是两帧像素坐标对,例如 (120, 85) 与 (134, 78)。RANSAC 从候选对应中反复拟合几何模型,以重投影误差区分内点和外点。二维仿射模型可以演示图像平移,但真实三维相机通常还存在旋转、透视变化和视差。
已知相机内参且场景具有足够静态纹理与视差时,可先用 cv2.findEssentialMat 配合 RANSAC 估计本质矩阵,再由 cv2.recoverPose 求相对旋转 R 和平移方向 t。单目两帧通常不能确定平移的米制长度;相机纯旋转、极小基线或低纹理也会使平移估计退化。

用两张合成图验证匹配
以下示例适用 Python 3.10+、OpenCV 4.x 与 NumPy。先执行 python -m pip install opencv-python numpy,将代码保存为 orb_motion.py,再执行 python orb_motion.py。示例把第一张灰度图平移右 14、上 7 像素,只验证特征匹配与二维几何估计,并不把像素位移冒充真实相机的三维位移。
import cv2
import numpy as np
rng = np.random.default_rng(7)
img1 = np.zeros((480, 640), dtype=np.uint8)
for i in range(120):
x = int(rng.integers(20, 590))
y = int(rng.integers(30, 450))
cv2.putText(img1, str(i), (x, y), cv2.FONT_HERSHEY_SIMPLEX,
0.45, 255, 1, cv2.LINE_AA)
# 合成已知像素平移,避免测试依赖外部图像文件。
img2 = cv2.warpAffine(img1, np.float32([[1, 0, 14], [0, 1, -7]]), (640, 480))
orb = cv2.ORB_create(nfeatures=1000)
p1, d1 = orb.detectAndCompute(img1, None)
p2, d2 = orb.detectAndCompute(img2, None)
assert d1 is not None and d2 is not None
pairs = cv2.BFMatcher(cv2.NORM_HAMMING).knnMatch(d1, d2, k=2)
good = [m for m, n in pairs if m.distance < 0.75 * n.distance]
assert len(good) >= 8
xy1 = np.float32([p1[m.queryIdx].pt for m in good])
xy2 = np.float32([p2[m.trainIdx].pt for m in good])
# RANSAC 在匹配点中寻找符合共同二维变换的内点。
transform, mask = cv2.estimateAffinePartial2D(
xy1, xy2, method=cv2.RANSAC, ransacReprojThreshold=2.0
)
assert transform is not None
print("几何内点至少 20 个:", int(mask.sum()) >= 20)
print("像素平移接近 (14, -7):",
bool(np.allclose(transform[:, 2], [14, -7], atol=2)))预期输出(具体关键点和内点数量会随 OpenCV 版本略有变化,因此只检验稳定条件):
几何内点至少 20 个: True
像素平移接近 (14, -7): True若第一项为 False,应检查关键点是否充足、描述符是否为空、场景是否过于重复;若第二项为 False,检查是否误把前后帧顺序倒置,或 RANSAC 是否被错误对应干扰。
判断何时不能相信匹配
可把“候选匹配至少 30 对、几何内点比例至少 60%”作为这类 640×480 实验的初步观察门槛,而不是生产级通用阈值。弱纹理会使匹配数量不足;玻璃反光、光照骤变可能破坏描述符一致性;移动人车可能产生数量很多但不代表相机运动的对应点。
接入 ROS 2 图像流时,应按消息时间戳匹配帧并读取对应的相机标定内参,不要把 estimateAffinePartial2D 的二维平移直接写入机器人的米制里程计。若任务必须恢复真实尺度,应考虑双目、深度相机或经过标定且具有足够运动激励的视觉惯性融合。