计算机视觉 / 系统课时
计算稀疏光流
计算稀疏光流
稀疏光流只跟踪少量稳定特征点,适合用较低计算量估计目标在相邻帧之间的移动。本课使用金字塔 Lucas-Kanade 方法跟踪角点,并把旧位置与新位置连接成运动轨迹。
学习目标
- 理解稀疏光流为何只计算选定特征点的位移
- 使用
cv2.calcOpticalFlowPyrLK跟踪相邻帧中的角点 - 根据
status、err和轨迹结果筛除无效跟踪
Lucas-Kanade 如何得到位移
Lucas-Kanade 假设相邻两帧中同一小块区域的亮度基本不变,而且运动在局部范围内足够小。算法在角点周围建立窗口,通过窗口内多像素的变化共同估计水平和垂直位移,因此比单独比较一个像素更稳定。
当位移稍大时,OpenCV 会结合图像金字塔从低分辨率到高分辨率逐层修正结果。最终得到的是一组离散运动向量:每个旧角点对应一个新位置,而不是为整张图像的每个像素计算运动。

跟踪一组角点
下面构造两帧只发生平移的图像。第一帧先用 Shi-Tomasi 检测矩形角点,再把这些点交给 cv2.calcOpticalFlowPyrLK。第二帧中的矩形向右移动 12 像素、向下移动 8 像素,因此平均光流应接近 (12, 8)。
import cv2
import numpy as np
def make_frame(dx=0, dy=0):
frame = np.zeros((220, 320, 3), dtype=np.uint8)
cv2.rectangle(
frame,
(60 + dx, 60 + dy),
(160 + dx, 140 + dy),
(255, 255, 255),
-1,
)
return frame
prev_frame = make_frame()
next_frame = make_frame(12, 8)
prev_gray = cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY)
next_gray = cv2.cvtColor(next_frame, cv2.COLOR_BGR2GRAY)
# 先检测稳定角点,再只跟踪这些点。
prev_points = cv2.goodFeaturesToTrack(
prev_gray,
maxCorners=20,
qualityLevel=0.01,
minDistance=10,
blockSize=7,
)
lk_params = dict(
winSize=(21, 21),
maxLevel=3,
criteria=(
cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,
30,
0.01,
),
)
next_points, status, err = cv2.calcOpticalFlowPyrLK(
prev_gray,
next_gray,
prev_points,
None,
**lk_params,
)
valid = status.ravel() == 1
good_old = prev_points[valid].reshape(-1, 2)
good_new = next_points[valid].reshape(-1, 2)
# 只把成功跟踪的点用于轨迹和位移统计。
vis = next_frame.copy()
for old, new in zip(good_old, good_new):
x0, y0 = np.round(old).astype(int)
x1, y1 = np.round(new).astype(int)
cv2.line(vis, (x0, y0), (x1, y1), (0, 255, 0), 2)
cv2.circle(vis, (x1, y1), 4, (0, 0, 255), -1)
mean_dx, mean_dy = (good_new - good_old).mean(axis=0)
cv2.imwrite("sparse_flow.png", vis)
print(f"tracked={len(good_new)}")
print(f"mean_dx={mean_dx:.1f}, mean_dy={mean_dy:.1f}")
print("saved=sparse_flow.png")预期输出
tracked=4
mean_dx=12.0, mean_dy=8.0
saved=sparse_flow.pngprev_points 与 next_points 都表示二维点坐标;status 为 1 的位置表示该点成功找到下一帧对应位置。示例对位移保留一位小数,不同 OpenCV 版本在未四舍五入的亚像素结果上可能有极小差异。
用状态与误差判断跟踪质量
实际视频中不能假设每个角点都会持续有效。目标可能离开画面、被遮挡,或者局部纹理变得太弱,因此第一层筛选应始终使用 status == 1。err 则反映局部匹配误差,可作为第二层质量条件,但阈值需要根据图像尺度和场景实验确定。
连续跟踪时还要定期补充新角点。若一直沿用最初的点集,成功点会随着遮挡和出界不断减少;常见做法是在有效点数低于阈值时重新调用 cv2.goodFeaturesToTrack,然后继续从当前帧向下一帧跟踪。
让轨迹更稳定
winSize 太小会在快速运动时丢点,太大又容易把不同运动混在同一窗口;maxLevel 增大后能处理更大的位移,但计算量也会上升。开始调参时可先保持 15~31 像素窗口和 2~4 层金字塔,再根据丢点率与误跟踪情况调整。
在真实目标跟踪中,最好同时限制跟踪点数量、剔除异常位移,并在必要时重新检测特征。这样得到的轨迹才更接近目标真实运动,而不是把单个错误匹配无限传播到后续帧。