计算机视觉 / 系统课时
跟踪稀疏特征点
跟踪稀疏特征点
稀疏 Lucas-Kanade 光流适合在连续视频中追踪几十到几百个角点。本课用 goodFeaturesToTrack 选出稳定角点,再用 calcOpticalFlowPyrLK 逐帧更新位置,并给出点丢失、漂移和需要重新检测时可直接采用的判断阈值。
学习目标
- 能用
cv2.goodFeaturesToTrack初始化角点,并按Nx1x2的float32坐标传给 Lucas-Kanade。 - 能读取
calcOpticalFlowPyrLK返回的状态并只保留成功跟踪点。 - 能设置重新检测与漂移剔除条件,让长视频中的点集不会持续劣化。
建立稀疏跟踪循环
一条实用的跟踪链路是:首帧转灰度并检测角点;下一帧调用 Lucas-Kanade 得到新位置;按 status==1 过滤失败点;把当前帧和新点设为下一轮的“上一帧”;当有效点太少时重新检测。角点坐标必须保持 float32,常见形状为 (N,1,2)。

一组适合 720p~1080p 普通视频的起始参数是:maxCorners=100、qualityLevel=0.01、minDistance=7、blockSize=7;Lucas-Kanade 可从 winSize=(21,21)、maxLevel=3、最多 30 次迭代、收敛阈值 0.01 开始。快速运动时再增大窗口或金字塔层数,而不是一开始就无限放大窗口。
可运行的 Lucas-Kanade 示例
下面的 OpenCV 4.x 脚本不依赖摄像头或外部视频。它生成 15 帧动画:一个 40×30 的白色矩形每帧向右移动 3 像素、向下移动 1 像素。首帧先检测四个角点,然后逐帧跟踪,并检查平均位移是否接近已知运动。
import cv2
import numpy as np
def make_frame(index):
frame = np.zeros((160, 240, 3), dtype=np.uint8)
x = 40 + 3 * index
y = 60 + index
cv2.rectangle(frame, (x, y), (x + 40, y + 30), (255, 255, 255), -1)
return frame
frames = [make_frame(i) for i in range(15)]
prev_gray = cv2.cvtColor(frames[0], cv2.COLOR_BGR2GRAY)
points = cv2.goodFeaturesToTrack(
prev_gray,
maxCorners=20,
qualityLevel=0.01,
minDistance=10,
blockSize=7
)
lk_params = dict(
winSize=(21, 21),
maxLevel=3,
criteria=(
cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,
30,
0.01,
),
)
print(f"initial points: {len(points)}")
for frame_index in range(1, len(frames)):
gray = cv2.cvtColor(frames[frame_index], cv2.COLOR_BGR2GRAY)
next_points, status, _ = cv2.calcOpticalFlowPyrLK(
prev_gray, gray, points, None, **lk_params
)
good_new = next_points[status.ravel() == 1]
good_old = points[status.ravel() == 1]
displacement = good_new - good_old
mean_dx, mean_dy = displacement.mean(axis=0)
if frame_index in (1, 14):
print(
f"frame {frame_index:02d}: tracked={len(good_new)}, "
f"mean dx={mean_dx:.2f}, mean dy={mean_dy:.2f}"
)
points = good_new.reshape(-1, 1, 2).astype(np.float32)
prev_gray = gray预期输出
initial points: 4
frame 01: tracked=4, mean dx=3.00, mean dy=1.00
frame 14: tracked=4, mean dx=3.00, mean dy=1.00真实视频中的亚像素坐标会出现小数,这是正常现象。需要画轨迹时,应把坐标用于计算时保留浮点数,只在传给 cv2.line、cv2.circle 等绘图函数时转换为整数,避免每一帧都提前取整造成累积误差。
在真实视频中管理点集
只看 status==1 还不够维持长时间稳定。一个常用策略是:初始检测 100~300 个角点;每帧保留成功点;当有效点少于 30 个,或每隔 20~30 帧,重新检测一批新点。重新检测时可用掩膜屏蔽现有点周围约 10 像素,避免在同一纹理上堆叠多个点。
更严格的项目可以做前向后向检查:先把上一帧点跟到当前帧,再从当前帧反向跟回上一帧。若返回位置与原位置的欧氏距离大于 1.0 像素,就丢弃该点。相比单独依赖 err,这个阈值更容易跨画面内容解释;err 的数值还会受窗口大小、纹理和亮度尺度影响。
| 条件 | 建议动作 |
|---|---|
有效点数 < 30 |
立即补充检测 Shi-Tomasi 角点 |
前向后向误差 > 1.0 px |
删除该跟踪点 |
连续两帧有效点比例 < 40% |
视为遮挡、快速运动或场景切换,重新初始化 |
| 运动较快且频繁丢点 | winSize 从 21×21 调到 31×31,maxLevel 从 3 调到 4 |
漂移和丢点怎么修
运动模糊时角点局部纹理会被抹平,此时盲目增大 winSize 只能部分缓解,优先提高快门速度或降低帧间位移更有效。重复纹理会让窗口匹配到相邻的相似位置,可用前向后向误差和几何模型进一步过滤;目标被遮挡后则应直接删除失效点,不要强行延续旧轨迹。
如果视频存在镜头切换,可把“有效点比例突然低于 40%”作为重置条件之一:清空旧点,在当前帧重新执行 goodFeaturesToTrack。对正常连续镜头,保持“跟踪、过滤、补点、更新上一帧”这一循环即可;不要每帧都重新检测全部角点,否则点的身份会不断变化,也就无法形成连续轨迹。