计算机视觉 / 系统课时

跟踪稀疏特征点

跟踪稀疏特征点

稀疏 Lucas-Kanade 光流适合在连续视频中追踪几十到几百个角点。本课用 goodFeaturesToTrack 选出稳定角点,再用 calcOpticalFlowPyrLK 逐帧更新位置,并给出点丢失、漂移和需要重新检测时可直接采用的判断阈值。

学习目标

  • 能用 cv2.goodFeaturesToTrack 初始化角点,并按 Nx1x2 的 float32 坐标传给 Lucas-Kanade。
  • 能读取 calcOpticalFlowPyrLK 返回的状态并只保留成功跟踪点。
  • 能设置重新检测与漂移剔除条件,让长视频中的点集不会持续劣化。

建立稀疏跟踪循环

一条实用的跟踪链路是:首帧转灰度并检测角点;下一帧调用 Lucas-Kanade 得到新位置;按 status==1 过滤失败点;把当前帧和新点设为下一轮的“上一帧”;当有效点太少时重新检测。角点坐标必须保持 float32,常见形状为 (N,1,2)。

Shi-Tomasi 初始化与 Lucas-Kanade 逐帧更新的稀疏跟踪循环

一组适合 720p~1080p 普通视频的起始参数是:maxCorners=100、qualityLevel=0.01、minDistance=7、blockSize=7;Lucas-Kanade 可从 winSize=(21,21)、maxLevel=3、最多 30 次迭代、收敛阈值 0.01 开始。快速运动时再增大窗口或金字塔层数,而不是一开始就无限放大窗口。

可运行的 Lucas-Kanade 示例

下面的 OpenCV 4.x 脚本不依赖摄像头或外部视频。它生成 15 帧动画:一个 40×30 的白色矩形每帧向右移动 3 像素、向下移动 1 像素。首帧先检测四个角点,然后逐帧跟踪,并检查平均位移是否接近已知运动。

python
import cv2
import numpy as np

def make_frame(index):
    frame = np.zeros((160, 240, 3), dtype=np.uint8)
    x = 40 + 3 * index
    y = 60 + index
    cv2.rectangle(frame, (x, y), (x + 40, y + 30), (255, 255, 255), -1)
    return frame

frames = [make_frame(i) for i in range(15)]
prev_gray = cv2.cvtColor(frames[0], cv2.COLOR_BGR2GRAY)

points = cv2.goodFeaturesToTrack(
    prev_gray,
    maxCorners=20,
    qualityLevel=0.01,
    minDistance=10,
    blockSize=7
)

lk_params = dict(
    winSize=(21, 21),
    maxLevel=3,
    criteria=(
        cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,
        30,
        0.01,
    ),
)

print(f"initial points: {len(points)}")

for frame_index in range(1, len(frames)):
    gray = cv2.cvtColor(frames[frame_index], cv2.COLOR_BGR2GRAY)

    next_points, status, _ = cv2.calcOpticalFlowPyrLK(
        prev_gray, gray, points, None, **lk_params
    )

    good_new = next_points[status.ravel() == 1]
    good_old = points[status.ravel() == 1]
    displacement = good_new - good_old
    mean_dx, mean_dy = displacement.mean(axis=0)

    if frame_index in (1, 14):
        print(
            f"frame {frame_index:02d}: tracked={len(good_new)}, "
            f"mean dx={mean_dx:.2f}, mean dy={mean_dy:.2f}"
        )

    points = good_new.reshape(-1, 1, 2).astype(np.float32)
    prev_gray = gray

预期输出

text
initial points: 4
frame 01: tracked=4, mean dx=3.00, mean dy=1.00
frame 14: tracked=4, mean dx=3.00, mean dy=1.00

真实视频中的亚像素坐标会出现小数,这是正常现象。需要画轨迹时,应把坐标用于计算时保留浮点数,只在传给 cv2.line、cv2.circle 等绘图函数时转换为整数,避免每一帧都提前取整造成累积误差。

在真实视频中管理点集

只看 status==1 还不够维持长时间稳定。一个常用策略是:初始检测 100~300 个角点;每帧保留成功点;当有效点少于 30 个,或每隔 20~30 帧,重新检测一批新点。重新检测时可用掩膜屏蔽现有点周围约 10 像素,避免在同一纹理上堆叠多个点。

更严格的项目可以做前向后向检查:先把上一帧点跟到当前帧,再从当前帧反向跟回上一帧。若返回位置与原位置的欧氏距离大于 1.0 像素,就丢弃该点。相比单独依赖 err,这个阈值更容易跨画面内容解释;err 的数值还会受窗口大小、纹理和亮度尺度影响。

条件 建议动作
有效点数 < 30 立即补充检测 Shi-Tomasi 角点
前向后向误差 > 1.0 px 删除该跟踪点
连续两帧有效点比例 < 40% 视为遮挡、快速运动或场景切换,重新初始化
运动较快且频繁丢点 winSize 从 21×21 调到 31×31,maxLevel 从 3 调到 4

漂移和丢点怎么修

运动模糊时角点局部纹理会被抹平,此时盲目增大 winSize 只能部分缓解,优先提高快门速度或降低帧间位移更有效。重复纹理会让窗口匹配到相邻的相似位置,可用前向后向误差和几何模型进一步过滤;目标被遮挡后则应直接删除失效点,不要强行延续旧轨迹。

如果视频存在镜头切换,可把“有效点比例突然低于 40%”作为重置条件之一:清空旧点,在当前帧重新执行 goodFeaturesToTrack。对正常连续镜头,保持“跟踪、过滤、补点、更新上一帧”这一循环即可;不要每帧都重新检测全部角点,否则点的身份会不断变化,也就无法形成连续轨迹。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

跟踪稀疏特征点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通