计算机视觉 / 系统课时

实现实时目标检测

实现实时目标检测

这一步把摄像头或视频真正接进检测循环:读取一帧、执行检测、画框、显示结果并响应退出键。为避免额外模型文件,主示例使用 OpenCV 4.x 自带的人脸 Haar 级联;以后替换成 DNN 推理时,采集与显示骨架可以原样保留。

学习目标

  • 用 VideoCapture 连续读取摄像头或视频文件,并正确处理读帧失败。
  • 用 CascadeClassifier.detectMultiScale 完成逐帧检测和矩形框标注。
  • 用处理耗时、分辨率与帧预算判断实时链路是否达标。

先定下最小运行目标

示例适用于 Python 3.10+、OpenCV 4.x,输入默认是摄像头 0,也可以把 --source 改成视频路径。先以 640×480、目标 30 FPS 为基线:单帧处理预算约 33.3 ms,检测参数从 scaleFactor=1.1、minNeighbors=5、minSize=(40, 40) 起调。

项目 基线值 验收方式
输入 摄像头 0 或 MP4 文件 cap.isOpened() 为真
分辨率 640×480 左右 画面不卡顿且目标尺寸足够
检测阈值 minNeighbors=5 静态背景误检不过多
实时预算 约 33.3 ms/帧 处理 FPS 接近或高于 30

串起逐帧检测链路

实时检测不是只调用一次检测器,而是循环执行读取、预处理、检测、标注和显示。read() 返回 ok=false 时必须退出;否则程序会继续处理空帧。按 q 只结束循环,随后还要释放采集对象并关闭窗口。

摄像头或视频逐帧进入检测器并回到下一帧的实时处理流程

跑通实时检测主程序

下面程序同时支持摄像头编号和视频路径。Haar 检测器只负责找正脸;本课重点是实时工程链路。把文件保存为 realtime_detect.py 后运行,按 q 退出。

python
import argparse
import time

import cv2

def parse_source(value: str):
    return int(value) if value.isdigit() else value

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("--source", default="0")
    args = parser.parse_args()

    cascade_path = cv2.data.haarcascades + "haarcascade_frontalface_default.xml"
    detector = cv2.CascadeClassifier(cascade_path)
    if detector.empty():
        raise RuntimeError(f"failed to load cascade: {cascade_path}")

    cap = cv2.VideoCapture(parse_source(args.source))
    if not cap.isOpened():
        raise RuntimeError(f"cannot open source: {args.source}")

    frame_count = 0
    total_processing_seconds = 0.0

    while True:
        ok, frame = cap.read()
        if not ok:
            break

        started = time.perf_counter()
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        faces = detector.detectMultiScale(
            gray,
            scaleFactor=1.1,
            minNeighbors=5,
            minSize=(40, 40),
        )

        for x, y, w, h in faces:
            cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)

        elapsed = time.perf_counter() - started
        frame_count += 1
        total_processing_seconds += elapsed
        fps = 1.0 / elapsed if elapsed > 0 else 0.0

        cv2.putText(
            frame,
            f"faces={len(faces)} processing_fps={fps:.1f}",
            (12, 28),
            cv2.FONT_HERSHEY_SIMPLEX,
            0.7,
            (0, 255, 0),
            2,
        )
        cv2.imshow("Realtime Detection", frame)

        if cv2.waitKey(1) & 0xFF == ord("q"):
            break

    cap.release()
    cv2.destroyAllWindows()

    avg_fps = (
        frame_count / total_processing_seconds
        if total_processing_seconds > 0
        else 0.0
    )
    print(f"frames={frame_count} avg_processing_fps={avg_fps:.1f}")

if __name__ == "__main__":
    main()

预期输出:窗口持续显示当前帧、检测框和处理 FPS;退出后终端打印实际处理统计。动态值因机器和输入不同而变化。

text
frames=<FRAME_COUNT> avg_processing_fps=<FPS>

控制延迟与误检

当处理时间明显超过 33.3 ms,先降输入尺寸再调检测参数。对 1920×1080 直接做多尺度 Haar 搜索通常浪费算力,可以先缩到 640×360 或 640×480;若小脸漏检,再逐步把 minSize 从 (40, 40) 降到 (30, 30),不要一开始就把阈值放得很松。

scaleFactor 越接近 1,尺度搜索越密、速度越慢;1.05 比 1.1 更容易找到尺寸临界的目标,但计算量也更高。minNeighbors 从 5 降到 3 会提高召回率,也更容易产生误检。工程调参时一次只改一个参数,并固定同一段 10~20 秒视频对比。

用可检查指标验收

验收时不要只看“画面能动”。准备一段 30 秒视频,至少包含 1 个正脸、一次快速移动和一次短暂离开画面的情况。记录平均处理 FPS,并确认读到视频结尾能自动退出、按 q 能立即退出、窗口关闭后摄像头指示灯熄灭。

如果目标是 30 FPS,平均处理 FPS 应不低于 30,且多数单帧处理时间应低于约 33.3 ms。若检测准确但速度不足,优先缩放输入或改用更适合的 DNN 模型;若需要统计同一个人的唯一数量,则必须在检测之后增加跟踪与 ID 关联,不能把每帧框数直接相加。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现实时目标检测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通