计算机视觉 / 系统课时

计算帧间差分

计算帧间差分

帧间差分用相邻视频帧的像素变化近似运动区域。它不需要训练模型,适合固定摄像头下的快速运动检测。本节用 OpenCV 完成灰度化、差分、阈值化和形态学清理,并说明它在哪些场景容易漏检或产生噪声。

学习目标

  • 使用 cv2.absdiff() 计算相邻帧的绝对差分
  • 将差分图转换为可用的二值运动掩膜
  • 识别帧间差分对慢速运动、抖动和光照变化的局限

差分为什么能表示运动

固定摄像头下,大部分背景在相邻帧之间变化很小。若某个目标发生移动,同一像素位置的亮度通常会改变,因此可以计算两帧灰度图的绝对差值:

Dt(x,y)=∣It(x,y)−It−1(x,y)∣D_t(x,y)=|I_t(x,y)-I_{t-1}(x,y)|

再把差值超过阈值的像素标记为前景,就得到简单的运动掩膜。实际处理中还会先做轻度模糊,降低传感器噪声,再通过形态学运算填补小孔洞。

相邻视频帧经过差分、阈值化后得到运动区域的流程

完成一次可运行的帧间差分

下面脚本读取视频,逐帧与上一帧比较,把检测到的运动区域写入 motion_diff.mp4。阈值 25 表示像素差异至少达到该程度才计为变化;min_area 用来忽略过小的噪声区域。

python
import sys

import cv2
import numpy as np


def preprocess(frame: np.ndarray) -> np.ndarray:
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    return cv2.GaussianBlur(gray, (5, 5), 0)


def main() -> None:
    if len(sys.argv) != 2:
        raise SystemExit("用法: python frame_diff.py <PATH>")

    cap = cv2.VideoCapture(sys.argv[1])
    if not cap.isOpened():
        raise SystemExit("无法打开输入视频")

    fps = cap.get(cv2.CAP_PROP_FPS) or 25.0
    width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    writer = cv2.VideoWriter(
        "motion_diff.mp4",
        cv2.VideoWriter_fourcc(*"mp4v"),
        fps,
        (width, height),
    )

    ok, previous_frame = cap.read()
    if not ok:
        raise SystemExit("视频中没有可读取帧")

    previous = preprocess(previous_frame)
    processed = 0
    motion_frames = 0
    min_area = 500

    while True:
        ok, frame = cap.read()
        if not ok:
            break

        current = preprocess(frame)
        diff = cv2.absdiff(previous, current)
        _, mask = cv2.threshold(diff, 25, 255, cv2.THRESH_BINARY)

        # 闭运算连接相邻变化像素,减少目标内部的小孔洞。
        kernel = np.ones((3, 3), np.uint8)
        mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel, iterations=2)

        contours, _ = cv2.findContours(
            mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
        )

        found_motion = False
        for contour in contours:
            if cv2.contourArea(contour) < min_area:
                continue
            x, y, w, h = cv2.boundingRect(contour)
            cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
            found_motion = True

        if found_motion:
            motion_frames += 1

        writer.write(frame)
        previous = current
        processed += 1

    cap.release()
    writer.release()
    print(f"processed_frames={processed}")
    print(f"motion_frames={motion_frames}")
    print("output=motion_diff.mp4")


if __name__ == "__main__":
    main()

预期结果

text
processed_frames=<VALUE>
motion_frames=<VALUE>
output=motion_diff.mp4

<VALUE> 取决于输入视频,实际值可能不同。输出视频中的较大运动区域会被绿色矩形框出;如果摄像机固定且目标移动明显,静态背景通常不会持续产生检测框。

调整阈值与最小面积

差分阈值过低时,压缩噪声、传感器噪声和轻微光照变化都会被当成运动;阈值过高则可能漏掉低对比度目标。min_area 同样影响灵敏度:值小更敏感,值大更能过滤细碎噪声。

调参时应先固定一段代表性视频,观察二值掩膜是否只覆盖真实变化区域,再调整轮廓面积阈值。不要只依据最终矩形框判断,因为上游掩膜已经可能丢失信息。

什么时候不适合帧间差分

帧间差分只关注“刚刚发生的变化”。目标停止后,相邻帧几乎相同,目标会迅速从掩膜中消失;移动非常慢时,每帧位移过小,也可能只留下细边缘。因此它适合判断“是否正在动”,不适合长期维持完整目标轮廓。

如果场景需要持续提取停留目标、适应缓慢光照变化,或需要对复杂动态背景进行建模,背景减除通常比单纯的两帧差分更合适。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算帧间差分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通