计算机视觉 / 系统课时
网络视频流检测
网络视频流检测
本课将接入 RTSP 等网络视频流,并解决真实环境中最常见的断线、读帧失败和恢复问题。完成后,你将得到一个带重连机制的 YOLOv5 推理程序,能够在短暂网络波动后重新打开视频流,而不是一次失败就直接退出。
学习目标
- 使用 OpenCV 连接带认证信息的 RTSP 视频流
- 区分连接失败、偶发丢帧和连续读帧失败
- 实现释放连接、等待和重新接入的恢复流程
准备视频流地址
RTSP 地址通常包含协议、账号、密码、主机、端口和媒体路径,示例格式如下。请把占位符替换为摄像机或流媒体服务器提供的真实值。
rtsp://<USER>:<PASSWORD>@<HOST>:<PORT>/<PATH>预期结果
播放器或检测程序能够建立连接并持续收到视频帧;端口和路径由设备配置决定,常见 RTSP 端口是 554,但不能据此替代实际配置。不要把真实账号和密码提交到 Git 仓库。生产项目应从环境变量或密钥管理服务读取地址。
断线恢复机制
网络流不能把一次 read() 失败都当成永久断线。更稳妥的做法是累计连续失败次数:少量失败先重试,超过阈值后释放旧连接,等待一段时间,再创建新的 VideoCapture。

完整实现
将下面代码保存为 rtsp_detect.py。示例通过环境变量读取地址,并优先使用 TCP 传输,以降低部分网络环境下的丢包影响。
import os
import time
import cv2
import torch
STREAM_URL = os.getenv("RTSP_URL", "")
WEIGHTS = "runs/train/exp/weights/best.pt"
INPUT_SIZE = 640
MAX_READ_FAILURES = 5
MAX_RECONNECTS = 10
RECONNECT_DELAY_SECONDS = 2
if not STREAM_URL:
raise RuntimeError("请先设置 RTSP_URL 环境变量")
# 在创建 VideoCapture 前指定 TCP,减少部分网络环境中的 UDP 丢包影响
os.environ["OPENCV_FFMPEG_CAPTURE_OPTIONS"] = "rtsp_transport;tcp"
model = torch.hub.load(".", "custom", path=WEIGHTS, source="local")
model.to("cuda:0" if torch.cuda.is_available() else "cpu")
model.conf = 0.35
def open_stream(url: str) -> cv2.VideoCapture:
# 每次重连都创建新对象,避免复用已失效的底层连接
capture = cv2.VideoCapture(url, cv2.CAP_FFMPEG)
capture.set(cv2.CAP_PROP_BUFFERSIZE, 1)
return capture
capture = open_stream(STREAM_URL)
read_failures = 0
reconnects = 0
try:
while reconnects <= MAX_RECONNECTS:
if not capture.isOpened():
reconnects += 1
print(f"连接失败,{RECONNECT_DELAY_SECONDS} 秒后重试:{reconnects}/{MAX_RECONNECTS}")
capture.release()
time.sleep(RECONNECT_DELAY_SECONDS)
capture = open_stream(STREAM_URL)
continue
ok, frame = capture.read()
if not ok:
# 单次失败可能只是抖动,连续失败达到阈值后才重建连接
read_failures += 1
print(f"读取失败:{read_failures}/{MAX_READ_FAILURES}")
if read_failures >= MAX_READ_FAILURES:
reconnects += 1
read_failures = 0
capture.release()
time.sleep(RECONNECT_DELAY_SECONDS)
capture = open_stream(STREAM_URL)
continue
# 成功读取一帧后,清空连续失败与重连计数
read_failures = 0
reconnects = 0
results = model(frame, size=INPUT_SIZE)
output_frame = results.render()[0]
cv2.imshow("YOLOv5 RTSP Detection", output_frame)
if cv2.waitKey(1) & 0xFF == ord("q"):
break
else:
print("超过最大重连次数,程序结束")
finally:
# Ctrl+C、按 q 或异常退出时都必须释放流连接和窗口
capture.release()
cv2.destroyAllWindows()预期结果
连接正常时持续显示带检测框的视频;短暂断流时控制台先输出读取失败次数,达到阈值后等待并重新连接;连续重连失败超过上限后安全退出。运行与验证
Linux 或 macOS 可先设置环境变量再启动脚本。Windows PowerShell 使用 $env:RTSP_URL="..." 设置同名变量。
export RTSP_URL="rtsp://<USER>:<PASSWORD>@<HOST>:<PORT>/<PATH>"
python rtsp_detect.py预期输出
正常连接时打开检测窗口;断开网络后出现“读取失败”或“连接失败”日志,恢复网络后重新显示视频画面。验证重连时,不要直接结束程序。可以临时断开摄像机网络数秒,再恢复连接,观察程序是否经历失败计数、释放旧连接和重新打开三个阶段。
延迟与稳定性调整
实时监控通常更重视低延迟,因此示例把缓冲区设为 1。部分 OpenCV 或 FFmpeg 构建可能忽略该属性,此时应继续降低输入尺寸,或改用独立的 FFmpeg/GStreamer 拉流线程,把“拉流”和“模型推理”解耦。
当网络长期不稳定时,不应无限快速重连。重连间隔可以逐步增加,并把连接状态、失败次数和最后成功帧时间写入日志或监控系统,以便区分摄像机离线、认证失败和推理性能不足。
本课总结
- 网络视频流需要把偶发丢帧与持续断线分开处理
- 达到失败阈值后应释放旧连接,再等待并重新创建连接
- 低延迟、稳定性和重连频率需要结合实际网络条件调整
下一课预告
下一课可以继续扩展为多路视频流并发检测,重点处理拉流线程、推理队列和多窗口资源管理。