计算机视觉 / 系统课时

接入实时摄像头

接入实时摄像头

本课将把 YOLOv8 接入本地摄像头或网络视频流,持续读取画面并实时显示检测结果,同时建立读取失败、主动退出、断线重连和资源释放的完整处理逻辑。

学习目标

  • 正确打开本地摄像头或 RTSP 等网络视频源
  • 在实时循环中完成读取、推理、显示和退出控制
  • 处理连续读帧失败,并确保窗口和视频连接被释放

实时推理循环

实时视频没有固定的结束帧,程序必须自行决定何时继续、重试或退出。每轮循环至少要处理视频源状态、当前帧、模型推理、窗口事件和异常清理五个对象,任何一步阻塞都可能造成画面卡顿或程序无法退出。

实时摄像头推理与异常处理循环

本地摄像头通常使用整数索引,例如 0 表示默认摄像头;网络视频流则使用完整地址。读取失败一次不一定代表断线,因此网络流应允许短暂重试;连续失败后再重新建立连接,可避免瞬时抖动导致频繁重连。

完整实现

下面程序支持通过 --source 传入摄像头编号或网络流地址。本地摄像头连续读帧失败时直接结束,网络流连续失败时最多重连 5 次。按 q 或 Esc 可主动退出。

python
import argparse
import time
from typing import Union

import cv2
from ultralytics import YOLO

VideoSource = Union[int, str]

def parse_source(value: str) -> VideoSource:
    return int(value) if value.isdigit() else value

def source_label(source: VideoSource) -> str:
    return str(source) if isinstance(source, int) else "<NETWORK_STREAM>"

def open_capture(source: VideoSource) -> cv2.VideoCapture:
    capture = cv2.VideoCapture(source)

    # 网络流尽量缩短缓存,降低画面延迟;部分后端可能忽略该设置。
    if isinstance(source, str):
        capture.set(cv2.CAP_PROP_BUFFERSIZE, 1)

    if not capture.isOpened():
        capture.release()
        raise RuntimeError(f"无法打开视频源:{source_label(source)}")

    return capture

def run_realtime(source: VideoSource) -> None:
    model = YOLO("yolov8n.pt")
    capture = open_capture(source)
    consecutive_failures = 0
    reconnect_count = 0
    max_reconnects = 5

    print(f"已连接视频源:{source_label(source)}")
    print("按 q 或 Esc 退出")

    try:
        while True:
            success, frame = capture.read()

            if not success:
                consecutive_failures += 1

                if consecutive_failures < 3:
                    time.sleep(0.1)
                    continue

                if isinstance(source, int):
                    print("本地摄像头连续读取失败,结束推理")
                    break

                capture.release()
                reconnected = False

                # 网络流断开后执行有限次数重连,避免永久阻塞主循环。
                while reconnect_count < max_reconnects:
                    reconnect_count += 1
                    print(f"网络流中断,正在进行第 {reconnect_count} 次重连")
                    time.sleep(1.0)

                    try:
                        capture = open_capture(source)
                        consecutive_failures = 0
                        reconnected = True
                        break
                    except RuntimeError as error:
                        print(error)

                if not reconnected:
                    print("网络视频流重连次数已用尽,结束推理")
                    break

                continue

            consecutive_failures = 0
            result = model.predict(frame, conf=0.35, verbose=False)[0]
            annotated_frame = result.plot()
            cv2.imshow("YOLOv8 Realtime Detection", annotated_frame)

            # 同时支持字母 q 和 Esc,便于用户主动结束实时循环。
            key = cv2.waitKey(1) & 0xFF
            if key in (ord("q"), 27):
                break
    finally:
        # 无论正常退出还是发生异常,都必须归还摄像头和窗口资源。
        capture.release()
        cv2.destroyAllWindows()
        print("资源已释放")

def main() -> None:
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--source",
        default="0",
        help="摄像头编号,例如 0;或 RTSP、HTTP 视频流地址",
    )
    args = parser.parse_args()
    run_realtime(parse_source(args.source))

if __name__ == "__main__":
    main()

使用本地默认摄像头运行 python camera_detect.py --source 0。正常启动并主动退出时,预期输出如下,视频源编号可能不同:

text
已连接视频源:0
按 q 或 Esc 退出
资源已释放

运行期间会出现名为 YOLOv8 Realtime Detection 的窗口,画面中的目标应带有类别、置信度和边界框。网络流地址可通过 --source <RTSP_URL> 传入,实际地址可能包含用户名、密码、主机和端口,不应提交到公共代码仓库。

运行与故障处理

如果程序提示无法打开视频源,先检查摄像头是否被会议软件占用,再尝试索引 1 或 2。网络流应先用播放器验证地址可访问,并确认防火墙、认证信息和传输协议正确。

若窗口不出现或 cv2.imshow() 报错,通常是当前环境没有图形桌面,或安装了不包含 GUI 的 opencv-python-headless。服务器环境应改为保存结果、推送到 Web 页面或输出流,而不是依赖本地窗口。

实时性不只由模型推理速度决定。摄像头帧率、网络缓存、输入分辨率和模型规模都会产生延迟。画面明显滞后时,可优先降低分辨率、使用更小模型,并减少网络流缓存,而不是简单跳过资源释放逻辑。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

接入实时摄像头

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通