计算机视觉 / 系统课时

图像缩放与填充

图像缩放与填充

本课通过同一张图像和同一个目标框,对比直接缩放与等比例填充的处理结果,并给出可运行的坐标映射代码。完成后,你能把原图目标框准确转换到模型输入尺寸。

学习目标

  • 区分直接缩放与等比例填充对图像形状的影响
  • 计算缩放比例、填充偏移和目标框新坐标
  • 验证变换后的图像尺寸与标注位置是否一致

两种方式与坐标规则

目标检测模型通常要求固定输入尺寸,例如 640×640。原图若是 500×300,直接缩放会把宽和高分别拉伸到 640,横向比例为 1.28,纵向比例约为 2.13,因此物体和目标框都会变形。

等比例填充也称 Letterbox。它先使用统一比例缩放,使图像完整放入目标画布,再在剩余区域补边。物体形状保持不变,但目标框坐标除了乘缩放比例,还必须加上填充偏移。

直接缩放与 Letterbox 对图像和目标框的影响

设原图尺寸为 W×HW\times H,目标尺寸为 Tw×ThT_w\times T_h,原目标框为 (x1,y1,x2,y2)(x_1,y_1,x_2,y_2)。直接缩放分别使用 sx=Tw/Ws_x=T_w/W 与 sy=Th/Hs_y=T_h/H,新坐标为 (x1sx,y1sy,x2sx,y2sy)(x_1s_x,y_1s_y,x_2s_x,y_2s_y)。

Letterbox 使用统一比例:

s=min⁡(TwW,ThH)s=\min\left(\frac{T_w}{W},\frac{T_h}{H}\right)

若左侧和顶部填充分别为 pxp_x、pyp_y,新坐标为 (x1s+px,y1s+py,x2s+px,y2s+py)(x_1s+p_x,y_1s+p_y,x_2s+p_x,y_2s+p_y)。

完整实现与验证

下面创建一张 500×300 的测试图和目标框 [100, 60, 400, 240],分别生成直接缩放图与 Letterbox 图,并把映射后的框画出来。

python
from pathlib import Path
from typing import Tuple

import cv2
import numpy as np

Box = Tuple[int, int, int, int]

def draw_box(image: np.ndarray, box: Box) -> np.ndarray:
    result = image.copy()
    x1, y1, x2, y2 = box
    cv2.rectangle(result, (x1, y1), (x2, y2), (0, 0, 255), 3)
    return result

def direct_resize(
    image: np.ndarray, box: Box, target_size: Tuple[int, int]
) -> tuple[np.ndarray, Box]:
    target_w, target_h = target_size
    height, width = image.shape[:2]

    # 直接缩放为横纵方向分别计算比例
    sx, sy = target_w / width, target_h / height

    resized = cv2.resize(image, (target_w, target_h))
    x1, y1, x2, y2 = box
    mapped = (
        round(x1 * sx),
        round(y1 * sy),
        round(x2 * sx),
        round(y2 * sy),
    )
    return resized, mapped

def letterbox(
    image: np.ndarray, box: Box, target_size: Tuple[int, int]
) -> tuple[np.ndarray, Box, float, int, int]:
    target_w, target_h = target_size
    height, width = image.shape[:2]

    # Letterbox 使用统一比例,避免改变物体宽高比
    scale = min(target_w / width, target_h / height)

    new_w, new_h = round(width * scale), round(height * scale)
    resized = cv2.resize(image, (new_w, new_h))

    # 将剩余空间均分到两侧,并使用 YOLO 常见灰色填充值
    pad_x = (target_w - new_w) // 2
    pad_y = (target_h - new_h) // 2
    canvas = np.full((target_h, target_w, 3), 114, dtype=np.uint8)
    canvas[pad_y : pad_y + new_h, pad_x : pad_x + new_w] = resized

    # 框坐标先缩放,再加上画布偏移
    x1, y1, x2, y2 = box
    mapped = (
        round(x1 * scale + pad_x),
        round(y1 * scale + pad_y),
        round(x2 * scale + pad_x),
        round(y2 * scale + pad_y),
    )
    return canvas, mapped, scale, pad_x, pad_y

def main() -> None:
    output_dir = Path("resize_output")
    output_dir.mkdir(exist_ok=True)

    # 构造固定原图和目标框,便于核对坐标结果
    image = np.full((300, 500, 3), 230, dtype=np.uint8)
    box = (100, 60, 400, 240)
    cv2.rectangle(image, (100, 60), (400, 240), (80, 180, 80), -1)

    direct_image, direct_box = direct_resize(image, box, (640, 640))
    letterbox_image, letterbox_box, scale, pad_x, pad_y = letterbox(
        image, box, (640, 640)
    )

    cv2.imwrite(
        str(output_dir / "direct_resize.jpg"),
        draw_box(direct_image, direct_box),
    )
    cv2.imwrite(
        str(output_dir / "letterbox.jpg"),
        draw_box(letterbox_image, letterbox_box),
    )

    print(f"direct_box={direct_box}")
    print(f"scale={scale:.2f}, pad_x={pad_x}, pad_y={pad_y}")
    print(f"letterbox_box={letterbox_box}")
    print(f"direct_shape={direct_image.shape}")
    print(f"letterbox_shape={letterbox_image.shape}")

if __name__ == "__main__":
    main()

预期输出

text
direct_box=(128, 128, 512, 512)
scale=1.28, pad_x=0, pad_y=128
letterbox_box=(128, 205, 512, 435)
direct_shape=(640, 640, 3)
letterbox_shape=(640, 640, 3)

运行后会生成 resize_output/direct_resize.jpg 和 resize_output/letterbox.jpg。前者中的绿色区域被纵向拉长;后者上下出现灰色填充,绿色区域比例保持不变,红色框应与区域边界重合。

反向还原与验收

模型输出的框位于输入画布坐标系。直接缩放时,分别用 sxs_x、sys_y 除回原尺寸;Letterbox 则先减去填充,再除以统一比例:

x=x′−pxs,y=y′−pysx=\frac{x'-p_x}{s},\qquad y=\frac{y'-p_y}{s}

还原后应把坐标裁剪到原图边界内,防止填充区中的预测产生负数或超出宽高。训练标签、推理输入和结果还原必须采用同一套取整与填充规则,否则会出现一到数个像素的系统偏差。

验收时至少确认输入尺寸正确、物体未变形、映射框紧贴目标,以及反向还原后能回到原图位置。若训练阶段使用 Letterbox、推理阶段却直接拉伸,即使程序没有报错,检测精度和框位置也可能下降。

Tips:不同 YOLO 实现可能把多出的奇数像素分配到右侧或下侧,也可能使用不同填充值。接入现有框架时,应以其预处理函数为准,不要只复制公式。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

图像缩放与填充

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通