计算机视觉 / 系统课时

网络视频流检测

网络视频流检测

本课将接入 RTSP 等网络视频流,并解决真实环境中最常见的断线、读帧失败和恢复问题。完成后,你将得到一个带重连机制的 YOLOv5 推理程序,能够在短暂网络波动后重新打开视频流,而不是一次失败就直接退出。

学习目标

  • 使用 OpenCV 连接带认证信息的 RTSP 视频流
  • 区分连接失败、偶发丢帧和连续读帧失败
  • 实现释放连接、等待和重新接入的恢复流程

准备视频流地址

RTSP 地址通常包含协议、账号、密码、主机、端口和媒体路径,示例格式如下。请把占位符替换为摄像机或流媒体服务器提供的真实值。

text
rtsp://<USER>:<PASSWORD>@<HOST>:<PORT>/<PATH>

预期结果

text
播放器或检测程序能够建立连接并持续收到视频帧;端口和路径由设备配置决定,常见 RTSP 端口是 554,但不能据此替代实际配置。

不要把真实账号和密码提交到 Git 仓库。生产项目应从环境变量或密钥管理服务读取地址。

断线恢复机制

网络流不能把一次 read() 失败都当成永久断线。更稳妥的做法是累计连续失败次数:少量失败先重试,超过阈值后释放旧连接,等待一段时间,再创建新的 VideoCapture。

RTSP 视频流断线重连流程

完整实现

将下面代码保存为 rtsp_detect.py。示例通过环境变量读取地址,并优先使用 TCP 传输,以降低部分网络环境下的丢包影响。

python
import os
import time

import cv2
import torch

STREAM_URL = os.getenv("RTSP_URL", "")
WEIGHTS = "runs/train/exp/weights/best.pt"
INPUT_SIZE = 640
MAX_READ_FAILURES = 5
MAX_RECONNECTS = 10
RECONNECT_DELAY_SECONDS = 2

if not STREAM_URL:
    raise RuntimeError("请先设置 RTSP_URL 环境变量")

# 在创建 VideoCapture 前指定 TCP,减少部分网络环境中的 UDP 丢包影响
os.environ["OPENCV_FFMPEG_CAPTURE_OPTIONS"] = "rtsp_transport;tcp"

model = torch.hub.load(".", "custom", path=WEIGHTS, source="local")
model.to("cuda:0" if torch.cuda.is_available() else "cpu")
model.conf = 0.35

def open_stream(url: str) -> cv2.VideoCapture:
    # 每次重连都创建新对象,避免复用已失效的底层连接
    capture = cv2.VideoCapture(url, cv2.CAP_FFMPEG)
    capture.set(cv2.CAP_PROP_BUFFERSIZE, 1)
    return capture

capture = open_stream(STREAM_URL)
read_failures = 0
reconnects = 0

try:
    while reconnects <= MAX_RECONNECTS:
        if not capture.isOpened():
            reconnects += 1
            print(f"连接失败,{RECONNECT_DELAY_SECONDS} 秒后重试:{reconnects}/{MAX_RECONNECTS}")
            capture.release()
            time.sleep(RECONNECT_DELAY_SECONDS)
            capture = open_stream(STREAM_URL)
            continue

        ok, frame = capture.read()
        if not ok:
            # 单次失败可能只是抖动,连续失败达到阈值后才重建连接
            read_failures += 1
            print(f"读取失败:{read_failures}/{MAX_READ_FAILURES}")

            if read_failures >= MAX_READ_FAILURES:
                reconnects += 1
                read_failures = 0
                capture.release()
                time.sleep(RECONNECT_DELAY_SECONDS)
                capture = open_stream(STREAM_URL)
            continue

        # 成功读取一帧后,清空连续失败与重连计数
        read_failures = 0
        reconnects = 0

        results = model(frame, size=INPUT_SIZE)
        output_frame = results.render()[0]
        cv2.imshow("YOLOv5 RTSP Detection", output_frame)

        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        print("超过最大重连次数,程序结束")
finally:
    # Ctrl+C、按 q 或异常退出时都必须释放流连接和窗口
    capture.release()
    cv2.destroyAllWindows()

预期结果

text
连接正常时持续显示带检测框的视频;短暂断流时控制台先输出读取失败次数,达到阈值后等待并重新连接;连续重连失败超过上限后安全退出。

运行与验证

Linux 或 macOS 可先设置环境变量再启动脚本。Windows PowerShell 使用 $env:RTSP_URL="..." 设置同名变量。

bash
export RTSP_URL="rtsp://<USER>:<PASSWORD>@<HOST>:<PORT>/<PATH>"
python rtsp_detect.py

预期输出

text
正常连接时打开检测窗口;断开网络后出现“读取失败”或“连接失败”日志,恢复网络后重新显示视频画面。

验证重连时,不要直接结束程序。可以临时断开摄像机网络数秒,再恢复连接,观察程序是否经历失败计数、释放旧连接和重新打开三个阶段。

延迟与稳定性调整

实时监控通常更重视低延迟,因此示例把缓冲区设为 1。部分 OpenCV 或 FFmpeg 构建可能忽略该属性,此时应继续降低输入尺寸,或改用独立的 FFmpeg/GStreamer 拉流线程,把“拉流”和“模型推理”解耦。

当网络长期不稳定时,不应无限快速重连。重连间隔可以逐步增加,并把连接状态、失败次数和最后成功帧时间写入日志或监控系统,以便区分摄像机离线、认证失败和推理性能不足。

本课总结

  • 网络视频流需要把偶发丢帧与持续断线分开处理
  • 达到失败阈值后应释放旧连接,再等待并重新创建连接
  • 低延迟、稳定性和重连频率需要结合实际网络条件调整

下一课预告

下一课可以继续扩展为多路视频流并发检测,重点处理拉流线程、推理队列和多窗口资源管理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

网络视频流检测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通