计算机视觉 / 系统课时

计算稠密光流

计算稠密光流

稠密光流为图像中几乎每个像素估计二维位移,适合观察整片区域的运动方向和速度分布。本课使用 Farneback 方法生成光流场,并把方向与幅值编码成 HSV 彩色图。

学习目标

  • 理解稠密光流矩阵中水平位移和垂直位移的含义
  • 使用 cv2.calcOpticalFlowFarneback 计算逐像素运动
  • 将光流的方向与幅值转换为直观的 HSV 可视化

稠密光流保存了什么

cv2.calcOpticalFlowFarneback 的结果形状为 H × W × 2。最后一维的两个值分别是该像素从前一帧到后一帧的水平位移 dx 与垂直位移 dy,因此整张结果本质上是一个二维向量场。

与稀疏光流只跟踪少量角点不同,稠密光流会给运动区域内部和周围都提供位移估计。代价是计算量和内存占用更高,而且低纹理、遮挡、快速运动等情况仍可能产生不可靠结果。

稠密光流从逐像素向量场到 HSV 可视化的转换关系

计算并可视化光流场

为了得到可验证结果,下面创建一块固定随机纹理,并让它在第二帧中向右移动 8 像素、向下移动 5 像素。纹理能为 Farneback 提供足够的局部灰度变化,避免纯色区域缺少可匹配信息。

python
import cv2
import numpy as np

height, width = 240, 320
rng = np.random.default_rng(7)
patch = rng.integers(0, 256, size=(100, 120), dtype=np.uint8)

prev_gray = np.zeros((height, width), dtype=np.uint8)
next_gray = np.zeros((height, width), dtype=np.uint8)

prev_gray[70:170, 80:200] = patch
next_gray[75:175, 88:208] = patch

flow = cv2.calcOpticalFlowFarneback(
    prev_gray,
    next_gray,
    None,
    pyr_scale=0.5,
    levels=3,
    winsize=15,
    iterations=3,
    poly_n=5,
    poly_sigma=1.2,
    flags=0,
)

dx = flow[..., 0]
dy = flow[..., 1]
magnitude, angle = cv2.cartToPolar(dx, dy, angleInDegrees=True)

# OpenCV 的 HSV 色相范围是 0~179,因此方向角需要除以 2。
hsv = np.zeros((height, width, 3), dtype=np.uint8)
hsv[..., 0] = (angle / 2).astype(np.uint8)
hsv[..., 1] = 255
hsv[..., 2] = cv2.normalize(
    magnitude,
    None,
    0,
    255,
    cv2.NORM_MINMAX,
).astype(np.uint8)

flow_bgr = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)
cv2.imwrite("dense_flow.png", flow_bgr)

# 只统计纹理块内部区域,避免静止背景稀释平均位移。
roi = flow[85:155, 95:185]
mean_dx, mean_dy = roi.reshape(-1, 2).mean(axis=0)

print(f"flow_shape={flow.shape}")
print(f"mean_dx={mean_dx:.1f}, mean_dy={mean_dy:.1f}")
print("saved=dense_flow.png")

预期输出

text
flow_shape=(240, 320, 2)
mean_dx=8.0, mean_dy=5.0
saved=dense_flow.png

保存的 dense_flow.png 中,颜色主要表达方向,亮度主要表达位移幅值。不同 OpenCV 版本的浮点估计可能在更低小数位存在轻微差异,但示例平移方向与一位小数结果应保持一致。

读懂 Farneback 参数

pyr_scale 控制相邻金字塔层的缩放比例,常用值是 0.5;levels 决定金字塔层数,层数更多通常更能覆盖较大位移。winsize 是局部邻域大小,增大后结果更平滑、抗噪更强,但细小运动边界也会被模糊。

iterations 控制每层迭代次数,poly_n 与 poly_sigma 控制局部多项式近似的邻域与平滑程度。实际调参不要只看彩色图是否“好看”,而应同时检查已知区域的位移方向、幅值以及运动边界是否符合真实场景。

什么时候使用稠密光流

当任务关注整片运动区域,例如人群流动、液体运动、视频稳定、运动分割或动态背景分析时,稠密光流比只跟踪少量角点更合适。若只需要目标的少数可靠轨迹,稀疏光流通常更轻量,也更容易结合特征点质量做筛选。

对视频连续处理时,应把当前灰度帧保存为下一轮的前一帧,并逐帧更新光流。真正需要关注的不是单张彩色结果,而是运动方向和幅值在时间上的连续性是否稳定。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算稠密光流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通