计算机视觉 / 系统课时

规划实时视觉项目

规划实时视觉项目

实时视觉项目最容易在“能跑起来”之后才发现延迟过高、输入规格不一致或模块互相耦合。本篇先把摄像头输入、处理预算、数据接口、目录边界和验收线定下来,再用一个最小基线程序验证计划是否可执行。

学习目标

  • 把输入来源、处理目标和性能要求改写成可测指标。
  • 用明确的数据流和模块边界降低后续替换算法的成本。
  • 运行最小基线,测出实际分辨率、处理耗时和性能余量。

把需求改成可测指标

不要只写“实时检测”或“尽量流畅”。先给项目定一组可以在机器上复测的基线,例如普通 USB 摄像头、单路 1280×720 输入、目标 30 FPS,算法输出为叠加检测框的视频画面和结构化结果。

项目 示例基线 验收方式
输入 Camera 0,期望 1280×720@30 读取后打印实际宽、高、FPS
处理预算 单帧算法 p95 ≤ 25 ms 连续统计至少 120 帧
端到端延迟 ≤ 100 ms 用画面时间戳或高帧率手机对拍
丢帧策略 队列最多保留 1 帧 处理慢时覆盖旧帧,不累积延迟
输出 BGR 预览 + JSON 风格结果对象 检查坐标、置信度与帧号是否对应

30 FPS 的帧周期约为 33.3 ms。若算法本身 p95 已经超过 33.3 ms,即使平均值看起来不高,也应先降分辨率、降低模型频率或拆分采集与处理线程,而不是继续堆更多步骤。

先定数据流再定模块

一个可维护的实时视觉程序至少同时存在输入、预处理、算法、结果和显示几个对象。先约定每个边界传什么数据,再决定函数名和文件名,能避免后面出现“这个模块顺便改了颜色空间”的隐式副作用。

实时视觉项目从输入到输出的数据流与模块边界

建议把一帧的公共上下文至少固定为 frame_id、采集时间戳和原始 BGR 图像。算法结果不要直接画到原图后再传给其他模块;保留原始帧与结果对象,显示层最后再叠加,这样录制、调试和离线回放都能复用同一份检测结果。

用最小基线测真实性能

下面的程序只做摄像头读取、灰度转换和 Canny 边缘检测,目的是建立“这台机器 + 这个摄像头 + 当前后端”的性能底线。运行前确保已经安装 OpenCV 与 NumPy,并有可用摄像头。

python
import time

import cv2
import numpy as np

def main():
    cap = cv2.VideoCapture(0)
    if not cap.isOpened():
        raise RuntimeError("camera 0 cannot be opened")

    cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280)
    cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720)
    cap.set(cv2.CAP_PROP_FPS, 30)

    width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    capture_fps = cap.get(cv2.CAP_PROP_FPS)

    times_ms = []
    processed = 0

    while processed < 120:
        ok, frame = cap.read()
        if not ok:
            break

        start = time.perf_counter()
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        _edges = cv2.Canny(gray, 100, 200)
        times_ms.append((time.perf_counter() - start) * 1000.0)
        processed += 1

    cap.release()

    if not times_ms:
        raise RuntimeError("no frame was processed")

    mean_ms = float(np.mean(times_ms))
    p95_ms = float(np.percentile(times_ms, 95))

    print("requested=1280x720@30")
    print(f"actual={width}x{height}@{capture_fps:.1f}")
    print(f"processed={processed} mean_ms={mean_ms:.2f} p95_ms={p95_ms:.2f}")

if __name__ == "__main__":
    main()

预期输出如下,<WIDTH>、<HEIGHT>、<FPS> 与 <TIME> 会随摄像头、驱动和机器变化:

text
requested=1280x720@30
actual=<WIDTH>x<HEIGHT>@<FPS>
processed=120 mean_ms=<TIME> p95_ms=<TIME>

若 actual 与请求值不同,不要假设 cap.set() 已经生效;很多摄像头只支持离散分辨率和帧率组合。若 p95_ms 明显高于平均值,优先排查自动曝光、后台负载和分辨率,而不是只看平均耗时。

用目录边界配合验收线

最小项目可以只保留五类职责:src/capture.py 负责输入,src/preprocess.py 负责纯图像变换,src/vision.py 负责算法,src/render.py 负责可视化,main.py 只负责编排;测试素材放到 tests/data/,不要让算法模块自己打开摄像头或写文件。

提交前按同一台机器连续运行 5 分钟:确认没有不断增长的内存占用,处理 p95 仍在预算内,断开摄像头时能退出或报明确错误,输出坐标与显示画面使用同一帧号。做到这些后,再替换检测器或增加跟踪模块,性能退化才有可比较的基线。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

规划实时视觉项目

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通