计算机视觉 / 系统课时

比较两幅图像差异

比较两幅图像差异

这篇实战把“看起来不一样”变成可计算的结果:先把当前图像对齐到基准图,再生成差异掩膜、清理噪声并框出有效变化区域。完成后你可以直接得到一张二值差异图和一张带变化框的结果图。

学习目标

  • 用特征匹配与单应性把两幅同场景图像对齐到同一坐标系。
  • 用绝对差、阈值和形态学操作生成稳定的差异掩膜。
  • 通过轮廓面积过滤小噪声,并理解差异检测的主要误报来源。

先解决坐标不一致

直接对两张图片执行 absdiff 的前提是同一个物体落在相同像素位置。相机轻微平移、旋转或透视变化都会把原本相同的边缘变成大面积“差异”,因此第一步应先建立当前图到基准图的几何变换。

这里使用 ORB 提取关键点和二进制描述子,再用 Hamming 距离做 KNN 匹配。通过比率测试留下更可靠的匹配后,findHomography 配合 RANSAC 估计单应性矩阵,最后用 warpPerspective 把当前图映射到基准图坐标。

两幅图像从特征对齐到差异掩膜和变化框的处理链路

生成差异掩膜

对齐后先把两图转为灰度并轻度高斯模糊,降低压缩噪声和单像素抖动的影响。absdiff 只表示“变化幅度”,再用阈值把变化像素转成二值掩膜。开运算可以去掉孤立白点,闭运算可以连接同一变化目标内部的小断裂。

透视变换后的边缘可能没有有效来源像素,所以示例同时变换一张全白有效区掩膜,只在真实重叠区域内保留差异。这样可以避免把对齐产生的空白边界误判成变化。

完成可运行示例

准备两张同一场景的图片:reference.jpg 作为基准,current.jpg 作为待比较图。把下面脚本保存为 compare_images.py,运行后会输出 diff-mask.png 和 changes.png。

python
import argparse
from pathlib import Path

import cv2
import numpy as np

def align_to_reference(reference, moving):
    ref_gray = cv2.cvtColor(reference, cv2.COLOR_BGR2GRAY)
    mov_gray = cv2.cvtColor(moving, cv2.COLOR_BGR2GRAY)

    # ORB 对旋转和一定尺度变化较稳健,适合轻量级图像配准。
    orb = cv2.ORB_create(nfeatures=2500)
    ref_kp, ref_desc = orb.detectAndCompute(ref_gray, None)
    mov_kp, mov_desc = orb.detectAndCompute(mov_gray, None)
    if ref_desc is None or mov_desc is None:
        raise RuntimeError("未检测到足够的 ORB 特征")

    matcher = cv2.BFMatcher(cv2.NORM_HAMMING)
    pairs = matcher.knnMatch(mov_desc, ref_desc, k=2)

    # 比率测试排除“第一名和第二名同样接近”的含糊匹配。
    good = []
    for pair in pairs:
        if len(pair) < 2:
            continue
        m, n = pair
        if m.distance < 0.75 * n.distance:
            good.append(m)
    if len(good) < 4:
        raise RuntimeError("优质匹配少于 4 个,无法估计单应性")

    src = np.float32([mov_kp[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
    dst = np.float32([ref_kp[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)

    homography, inlier_mask = cv2.findHomography(
        src, dst, cv2.RANSAC, 5.0
    )
    if homography is None:
        raise RuntimeError("单应性估计失败")

    size = (reference.shape[1], reference.shape[0])
    aligned = cv2.warpPerspective(moving, homography, size)

    # 同步变换有效区域,只比较 moving 真正覆盖到的位置。
    source_valid = np.full(mov_gray.shape, 255, dtype=np.uint8)
    valid_mask = cv2.warpPerspective(
        source_valid, homography, size, flags=cv2.INTER_NEAREST
    )
    inliers = int(inlier_mask.sum()) if inlier_mask is not None else 0
    return aligned, valid_mask, inliers

def build_diff(reference, aligned, valid_mask, threshold_value, min_area):
    ref_gray = cv2.cvtColor(reference, cv2.COLOR_BGR2GRAY)
    aligned_gray = cv2.cvtColor(aligned, cv2.COLOR_BGR2GRAY)

    # 轻度平滑用于抑制 JPEG 噪声和极小配准误差。
    ref_gray = cv2.GaussianBlur(ref_gray, (5, 5), 0)
    aligned_gray = cv2.GaussianBlur(aligned_gray, (5, 5), 0)

    diff = cv2.absdiff(ref_gray, aligned_gray)
    _, mask = cv2.threshold(
        diff, threshold_value, 255, cv2.THRESH_BINARY
    )
    mask = cv2.bitwise_and(mask, valid_mask)

    kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
    mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)
    mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)

    result = aligned.copy()
    contours, _ = cv2.findContours(
        mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
    )

    change_count = 0
    for contour in contours:
        if cv2.contourArea(contour) < min_area:
            continue
        x, y, w, h = cv2.boundingRect(contour)
        cv2.rectangle(result, (x, y), (x + w, y + h), (0, 0, 255), 2)
        change_count += 1

    return mask, result, change_count

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("reference")
    parser.add_argument("current")
    parser.add_argument("--threshold", type=int, default=30)
    parser.add_argument("--min-area", type=float, default=300.0)
    args = parser.parse_args()

    reference = cv2.imread(args.reference)
    current = cv2.imread(args.current)
    if reference is None or current is None:
        raise FileNotFoundError("无法读取输入图像")

    aligned, valid_mask, inliers = align_to_reference(reference, current)
    mask, result, changes = build_diff(
        reference, aligned, valid_mask, args.threshold, args.min_area
    )

    cv2.imwrite("diff-mask.png", mask)
    cv2.imwrite("changes.png", result)
    print(f"匹配内点: {inliers}")
    print(f"变化区域: {changes}")
    print("已写出: diff-mask.png, changes.png")

if __name__ == "__main__":
    main()

运行命令:

bash
python compare_images.py reference.jpg current.jpg

预期输出:

text
匹配内点: <VALUE>
变化区域: <VALUE>
已写出: diff-mask.png, changes.png

<VALUE> 会随图片内容、特征数量和阈值变化。打开 diff-mask.png 时,白色区域表示超过阈值的变化;changes.png 中的红框只对应面积不小于 --min-area 的有效轮廓。

调整阈值并控制误报

--threshold 控制单像素需要变化多少才算差异。光照稳定、图像清晰时可以降低它以提高灵敏度;存在曝光变化、压缩噪声或轻微配准偏差时应适当提高。--min-area 则负责丢弃很小的变化块,数值应结合图像分辨率和业务目标尺寸设置。

如果整幅图都变白,先检查配准是否正确,而不是继续提高差异阈值。可以把 aligned 临时保存后与基准图肉眼叠加检查;若主要边缘不能重合,根因通常是特征匹配错误、场景并非近似平面,或视角变化超出了单应性模型的适用范围。

完成这条链路后,图像差异检测的关键就变成两个可独立调试的问题:先确保几何对齐可信,再调整差异阈值和面积过滤。不要用后半段的阈值参数去掩盖前半段的配准失败。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

比较两幅图像差异

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通