计算机视觉 / 系统课时

计算稀疏光流

计算稀疏光流

稀疏光流只跟踪少量稳定特征点,适合用较低计算量估计目标在相邻帧之间的移动。本课使用金字塔 Lucas-Kanade 方法跟踪角点,并把旧位置与新位置连接成运动轨迹。

学习目标

  • 理解稀疏光流为何只计算选定特征点的位移
  • 使用 cv2.calcOpticalFlowPyrLK 跟踪相邻帧中的角点
  • 根据 status、err 和轨迹结果筛除无效跟踪

Lucas-Kanade 如何得到位移

Lucas-Kanade 假设相邻两帧中同一小块区域的亮度基本不变,而且运动在局部范围内足够小。算法在角点周围建立窗口,通过窗口内多像素的变化共同估计水平和垂直位移,因此比单独比较一个像素更稳定。

当位移稍大时,OpenCV 会结合图像金字塔从低分辨率到高分辨率逐层修正结果。最终得到的是一组离散运动向量:每个旧角点对应一个新位置,而不是为整张图像的每个像素计算运动。

稀疏光流中角点从前一帧到后一帧的跟踪关系

跟踪一组角点

下面构造两帧只发生平移的图像。第一帧先用 Shi-Tomasi 检测矩形角点,再把这些点交给 cv2.calcOpticalFlowPyrLK。第二帧中的矩形向右移动 12 像素、向下移动 8 像素,因此平均光流应接近 (12, 8)。

python
import cv2
import numpy as np

def make_frame(dx=0, dy=0):
    frame = np.zeros((220, 320, 3), dtype=np.uint8)
    cv2.rectangle(
        frame,
        (60 + dx, 60 + dy),
        (160 + dx, 140 + dy),
        (255, 255, 255),
        -1,
    )
    return frame

prev_frame = make_frame()
next_frame = make_frame(12, 8)

prev_gray = cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY)
next_gray = cv2.cvtColor(next_frame, cv2.COLOR_BGR2GRAY)

# 先检测稳定角点,再只跟踪这些点。
prev_points = cv2.goodFeaturesToTrack(
    prev_gray,
    maxCorners=20,
    qualityLevel=0.01,
    minDistance=10,
    blockSize=7,
)

lk_params = dict(
    winSize=(21, 21),
    maxLevel=3,
    criteria=(
        cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,
        30,
        0.01,
    ),
)

next_points, status, err = cv2.calcOpticalFlowPyrLK(
    prev_gray,
    next_gray,
    prev_points,
    None,
    **lk_params,
)

valid = status.ravel() == 1
good_old = prev_points[valid].reshape(-1, 2)
good_new = next_points[valid].reshape(-1, 2)

# 只把成功跟踪的点用于轨迹和位移统计。
vis = next_frame.copy()
for old, new in zip(good_old, good_new):
    x0, y0 = np.round(old).astype(int)
    x1, y1 = np.round(new).astype(int)
    cv2.line(vis, (x0, y0), (x1, y1), (0, 255, 0), 2)
    cv2.circle(vis, (x1, y1), 4, (0, 0, 255), -1)

mean_dx, mean_dy = (good_new - good_old).mean(axis=0)
cv2.imwrite("sparse_flow.png", vis)

print(f"tracked={len(good_new)}")
print(f"mean_dx={mean_dx:.1f}, mean_dy={mean_dy:.1f}")
print("saved=sparse_flow.png")

预期输出

text
tracked=4
mean_dx=12.0, mean_dy=8.0
saved=sparse_flow.png

prev_points 与 next_points 都表示二维点坐标;status 为 1 的位置表示该点成功找到下一帧对应位置。示例对位移保留一位小数,不同 OpenCV 版本在未四舍五入的亚像素结果上可能有极小差异。

用状态与误差判断跟踪质量

实际视频中不能假设每个角点都会持续有效。目标可能离开画面、被遮挡,或者局部纹理变得太弱,因此第一层筛选应始终使用 status == 1。err 则反映局部匹配误差,可作为第二层质量条件,但阈值需要根据图像尺度和场景实验确定。

连续跟踪时还要定期补充新角点。若一直沿用最初的点集,成功点会随着遮挡和出界不断减少;常见做法是在有效点数低于阈值时重新调用 cv2.goodFeaturesToTrack,然后继续从当前帧向下一帧跟踪。

让轨迹更稳定

winSize 太小会在快速运动时丢点,太大又容易把不同运动混在同一窗口;maxLevel 增大后能处理更大的位移,但计算量也会上升。开始调参时可先保持 15~31 像素窗口和 2~4 层金字塔,再根据丢点率与误跟踪情况调整。

在真实目标跟踪中,最好同时限制跟踪点数量、剔除异常位移,并在必要时重新检测特征。这样得到的轨迹才更接近目标真实运动,而不是把单个错误匹配无限传播到后续帧。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算稀疏光流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通