计算机视觉 / 系统课时

理解光流

理解光流

光流解决的是“画面里的同一处内容下一帧去了哪里”。本课把运动写成二维位移向量,解释亮度恒定、局部一致与图像金字塔这些关键假设,并用一对人工平移帧验证 OpenCV 能恢复约 5 像素的水平运动。

学习目标

  • 能把连续两帧中的位置变化写成光流向量 (u,v)(u,v),并计算位移大小与方向。
  • 能说明纹理不足、大位移和遮挡为什么会让光流失效,以及金字塔如何缓解大运动。
  • 能区分稀疏光流与稠密光流,并用 cv2.calcOpticalFlowFarneback 验证已知平移。

光流实际在估计什么

设某个像素或局部特征在前一帧位于 (x,y)(x,y),下一帧对应位置变成 (x+u,y+v)(x+u,y+v),那么 (u,v)(u,v) 就是这次运动的光流。比如位置从 (60,40)(60,40) 移到 (65,42)(65,42),则 u=5u=5、v=2v=2,位移长度约为 52+22=5.39\sqrt{5^2+2^2}=5.39 像素,方向约为 21.8∘21.8^\circ。

经典光流通常从“短时间内同一点亮度基本不变”出发,即 I(x,y,t)≈I(x+u,y+v,t+1)I(x,y,t)\approx I(x+u,y+v,t+1)。把小位移线性化后得到约束 Ixu+Iyv+It=0I_xu+I_yv+I_t=0。它只有一个方程却有两个未知量,因此单个像素无法独立确定二维运动,必须引入邻域或其他约束。

连续两帧中的位移向量、局部窗口与光流约束关系

局部窗口与金字塔为什么必要

在纯色墙面上,窗口向多个方向轻微移动后亮度都差不多,算法没有足够梯度判断真正方向;在角点或纹理区域,横纵两个方向都能观察到变化,运动更容易被唯一确定。工程上常用 15×15 到 31×31 像素的局部窗口,让邻域内多个像素共同估计一个运动。

较大的帧间位移会破坏“小运动”假设,所以常把图像缩小成金字塔后从粗到细求解。若原图位移为 16 像素,连续缩小两次到 1/4 尺寸后只剩约 4 像素,更容易落入局部搜索范围;随后再把结果逐层放大并细化。

稀疏光流与稠密光流

OpenCV 中常见的两条路径用途不同。稀疏光流只跟踪少量角点,适合轨迹、相机运动估计和目标跟随;稠密光流为大部分像素估计向量,适合运动场可视化和区域运动分析,但计算量更大。

类型 OpenCV 接口 典型输入 典型参数 输出
稀疏 Lucas-Kanade cv2.calcOpticalFlowPyrLK 灰度帧 + 特征点 winSize=(21,21)、maxLevel=3 每个点的新坐标、状态与误差
稠密 Farneback cv2.calcOpticalFlowFarneback 两张灰度帧 pyr_scale=0.5、levels=3、winsize=21 与图像同尺寸的二维流场

下面的 OpenCV 4.x 示例生成一块固定随机纹理,把它向右平移 5 像素,再对纹理内部区域求平均光流。随机种子固定,因此输入每次一致。

python
import cv2
import numpy as np

rng = np.random.default_rng(7)

prev = np.zeros((120, 160), dtype=np.uint8)
patch = rng.integers(0, 256, size=(50, 50), dtype=np.uint8)
prev[35:85, 45:95] = patch

curr = np.zeros_like(prev)
curr[35:85, 50:100] = patch  # 整块纹理向右移动 5 像素

flow = cv2.calcOpticalFlowFarneback(
    prev, curr, None,
    0.5, 3, 21, 3, 5, 1.2, 0
)

roi = flow[40:80, 50:90]
mean_dx = float(roi[..., 0].mean())
mean_dy = float(roi[..., 1].mean())

assert abs(mean_dx - 5.0) < 0.2
assert abs(mean_dy) < 0.2
if abs(mean_dy) < 0.005:
    mean_dy = 0.0

print(f"mean flow: dx={mean_dx:.2f}, dy={mean_dy:.2f}")

预期输出

text
mean flow: dx=5.00, dy=0.00

这里故意使用纹理块而不是纯白方块,因为纯色内部没有足够梯度;即使真实物体确实移动了,物体中心的光流也可能不可靠,这正是光流依赖局部可辨识纹理的直接表现。

失败时先检查这些假设

亮度剧烈变化会破坏亮度恒定假设,例如自动曝光突然跳变;运动模糊会削弱梯度;物体被遮挡后,前一帧中的点在后一帧已经没有真实对应;帧间位移过大则可能超出当前金字塔与窗口的搜索能力。

工程上可先做三项检查:优先在角点和纹理区取点;大运动时把金字塔层数提高到 3~4 层并把窗口从 21×21 增大到 31×31;对关键跟踪使用前向后向一致性检查,若点从 A 跟到 B 再反向跟回 A 的误差超过约 1 像素,就把它视为可疑点。光流给的是图像平面上的像素运动,若要换算成米每秒,还需要帧率、相机标定以及场景尺度。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解光流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通