计算机视觉 / 系统课时

摄像头实时检测

摄像头实时检测

本课将把本地摄像头画面送入 YOLOv5 模型,完成逐帧推理、检测框绘制和实时窗口显示。完成后,你将得到一个可直接运行的最小程序,并能判断卡顿、黑屏或无法打开摄像头时应优先检查什么。

学习目标

  • 使用 OpenCV 打开本地摄像头并持续读取视频帧
  • 调用本地 YOLOv5 权重完成逐帧目标检测
  • 根据帧率、分辨率和置信度调整实时检测性能

运行前检查

请在已克隆的 YOLOv5 项目根目录运行程序,并确认已经安装项目依赖。模型权重可使用官方权重,也可替换为自己训练得到的 best.pt。

bash
python -c "import cv2, torch; print('opencv', cv2.__version__); print('torch', torch.__version__); print('cuda', torch.cuda.is_available())"

预期输出

text
opencv <VERSION>
torch <VERSION>
cuda True

<VERSION> 会随本机环境变化;没有 NVIDIA GPU 时最后一行可能是 cuda False,程序仍可使用 CPU 运行。

实时检测流程

摄像头检测的主链路是“读取一帧、模型推理、绘制结果、显示窗口”,直到用户按下退出键。任何一步失败,都应立即释放摄像头和窗口资源,避免设备被进程长期占用。

摄像头实时检测处理流程

完整实现

将下面代码保存为 webcam_detect.py。CAMERA_INDEX 通常为 0;如果电脑有多个摄像头,可依次尝试 1、2。WEIGHTS 需要指向实际存在的权重文件。

python
import time

import cv2
import torch

CAMERA_INDEX = 0
WEIGHTS = "runs/train/exp/weights/best.pt"
INPUT_SIZE = 640
CONFIDENCE = 0.35

# 从当前 YOLOv5 仓库加载本地权重,避免运行时下载模型代码
model = torch.hub.load(".", "custom", path=WEIGHTS, source="local")
device = "cuda:0" if torch.cuda.is_available() else "cpu"
model.to(device)
model.conf = CONFIDENCE

capture = cv2.VideoCapture(CAMERA_INDEX)
capture.set(cv2.CAP_PROP_FRAME_WIDTH, 1280)
capture.set(cv2.CAP_PROP_FRAME_HEIGHT, 720)

if not capture.isOpened():
    raise RuntimeError(f"无法打开摄像头索引 {CAMERA_INDEX}")

# 使用高精度计时器估算相邻两帧之间的实时 FPS
previous_time = time.perf_counter()

try:
    while True:
        ok, frame = capture.read()
        if not ok:
            print("读取摄像头帧失败,程序结束")
            break

        results = model(frame, size=INPUT_SIZE)
        # render 会把检测框、类别和置信度绘制到输出帧
        output_frame = results.render()[0]

        current_time = time.perf_counter()
        fps = 1.0 / max(current_time - previous_time, 1e-6)
        previous_time = current_time
        cv2.putText(
            output_frame,
            f"FPS: {fps:.1f}",
            (20, 40),
            cv2.FONT_HERSHEY_SIMPLEX,
            1.0,
            (0, 255, 0),
            2,
        )

        cv2.imshow("YOLOv5 Webcam Detection", output_frame)
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
finally:
    # 无论正常退出还是发生异常,都释放摄像头与窗口资源
    capture.release()
    cv2.destroyAllWindows()

预期结果

text
程序打开摄像头窗口,目标上方显示检测框、类别和置信度,左上角显示实时 FPS;按 q 后窗口关闭并释放摄像头。

性能与故障处理

画面卡顿时,先把 INPUT_SIZE 从 640 降为 416 或 320,再降低摄像头分辨率。置信度阈值只影响保留哪些结果,不会显著减少模型计算量;真正影响速度的是模型规模、输入尺寸、设备性能和每秒处理帧数。

如果出现黑屏或 无法打开摄像头索引,先关闭占用摄像头的会议软件和浏览器页面,再检查索引。远程服务器、无桌面环境或容器中通常不能直接弹出窗口,此时应改为保存视频或通过 Web 服务输出结果。

本课总结

  • 摄像头实时检测的核心循环是读取、推理、绘制和显示
  • finally 中释放设备和窗口可避免摄像头被异常占用
  • 输入尺寸与模型规模是影响实时帧率的主要参数

下一课预告

下一课将把本地摄像头替换为 RTSP 等网络视频流,并加入断线重连、连续读帧失败判断和恢复验证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

摄像头实时检测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通