计算机视觉 / 系统课时
定位平面目标
定位平面目标
平面目标定位的目标不是只判断“找到了”,而是把模板图像的四个角可靠投影到场景中。本课用 ORB 特征、Hamming 匹配、RANSAC 单应性和 cv2.perspectiveTransform 串成完整定位链路,并给出可验收的几何条件。
学习目标
- 会从模板图和场景图建立 ORB 特征匹配。
- 会用 RANSAC 单应性把模板四角映射到场景坐标。
- 会用内点率、角点误差和四边形形状判断定位结果。
从匹配点得到目标四角
流程需要同时跟踪模板关键点、场景关键点、匹配关系、RANSAC 内点和四角投影,单靠文字容易把坐标关系混淆。模板中的四角先作为 4 个二维点,经单应性矩阵映射后得到场景中的目标边界。

单应性适合纸张、海报、书封、显示屏等近似平面的目标。理论最少 4 组非共线对应点即可求解,但工程上不要以 4 个匹配作为通过标准;在纹理正常的模板上,建议至少取得 15 个 RANSAC 内点再接受定位。
匹配与单应性参数
ORB 输出二进制描述子,因此匹配距离应使用 cv2.NORM_HAMMING。使用 knnMatch(..., k=2) 做比值测试时,不要同时启用 crossCheck=True;两者代表不同的匹配约束方式,混用会让流程逻辑变得不一致。
| 环节 | 推荐起点 | 说明 |
|---|---|---|
ORB_create(nfeatures=...) |
1500 | 小模板可降到 500,大场景可提高到 2000 |
fastThreshold |
10~20 | 低纹理目标可降低,但会增加弱角点 |
| KNN ratio | 0.75 | 越小越严格,重复纹理可尝试 0.65~0.70 |
| RANSAC 重投影阈值 | 3.0 px | 原始分辨率下常用 2~5 px |
如果场景图先缩小到 50% 再做匹配,3 px 阈值对应原图约 6 px 的误差尺度。参数必须与实际参与估计的图像分辨率一致,不能在缩放前后直接照搬同一个像素阈值。
完整可运行示例
下面示例适用于 OpenCV 4.x,不依赖外部图片。代码先生成一个带网格和文字的平面模板,再把它透视变换到场景中,最后使用 ORB、KNN 比值测试、RANSAC 和四角投影恢复目标位置。
import cv2
import numpy as np
target = np.full((220, 320), 245, np.uint8)
cv2.rectangle(target, (5, 5), (314, 214), 20, 3)
for x in range(40, 300, 40):
cv2.line(target, (x, 20), (x, 200), 120, 1)
for y in range(40, 200, 40):
cv2.line(target, (20, y), (300, y), 120, 1)
cv2.circle(target, (70, 70), 25, 30, 3)
cv2.rectangle(target, (210, 45), (280, 100), 50, 3)
cv2.putText(target, "CV", (180, 175), cv2.FONT_HERSHEY_SIMPLEX, 1.2, 20, 3)
scene = np.full((450, 600), 180, np.uint8)
src_corners = np.float32([[0, 0], [319, 0], [319, 219], [0, 219]])
true_corners = np.float32([[120, 80], [430, 55], [470, 300], [100, 340]])
h_true = cv2.getPerspectiveTransform(src_corners, true_corners)
# 把模板嵌入场景,构造一个已知真值的透视目标。
warped = cv2.warpPerspective(target, h_true, (600, 450), borderValue=0)
valid = cv2.warpPerspective(np.full(target.shape, 255, np.uint8), h_true, (600, 450))
scene[valid > 0] = warped[valid > 0]
orb = cv2.ORB_create(nfeatures=1500, fastThreshold=10)
kp1, des1 = orb.detectAndCompute(target, None)
kp2, des2 = orb.detectAndCompute(scene, None)
matcher = cv2.BFMatcher(cv2.NORM_HAMMING)
pairs = matcher.knnMatch(des1, des2, k=2)
good = [m for m, n in pairs if m.distance < 0.75 * n.distance]
src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)
h, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 3.0)
estimated = cv2.perspectiveTransform(
src_corners.reshape(-1, 1, 2), h
).reshape(-1, 2)
corner_error = np.linalg.norm(estimated - true_corners, axis=1)
inlier_ratio = float(mask.mean())
print(f"good_matches >= 20: {len(good) >= 20}")
print(f"inlier_ratio >= 0.70: {inlier_ratio >= 0.70}")
print(f"max_corner_error < 5px: {corner_error.max() < 5.0}")预期输出:
good_matches >= 20: True
inlier_ratio >= 0.70: True
max_corner_error < 5px: True真实项目没有 true_corners 可比较,因此第三条检查要替换成几何合理性检查,例如四边形是否凸、面积是否处于预期范围,以及是否出现极端细长或自交形状。
定位结果的验收边界
可把验收拆成三层。匹配层要求至少 15 个内点且内点率不低于 50%;几何层要求投影四边形为凸形,面积例如占场景的 2%~80%,并允许角点最多超出图像边界约 10%;业务层再检查目标尺寸、朝向或可见区域是否符合实际场景。
最容易误定位的是重复网格、书架纹理和相似包装,因为描述子匹配可能很多,但几何支持集中在局部。遇到这种情况先把 KNN ratio 从 0.75 收紧到 0.65~0.70,再检查 RANSAC 内点是否覆盖模板多个区域;若目标明显弯曲、不是平面或近距离产生强视差,单个单应性模型本身就不再适用。