计算机视觉 / 系统课时
规划实时视觉项目
规划实时视觉项目
实时视觉项目最容易在“能跑起来”之后才发现延迟过高、输入规格不一致或模块互相耦合。本篇先把摄像头输入、处理预算、数据接口、目录边界和验收线定下来,再用一个最小基线程序验证计划是否可执行。
学习目标
- 把输入来源、处理目标和性能要求改写成可测指标。
- 用明确的数据流和模块边界降低后续替换算法的成本。
- 运行最小基线,测出实际分辨率、处理耗时和性能余量。
把需求改成可测指标
不要只写“实时检测”或“尽量流畅”。先给项目定一组可以在机器上复测的基线,例如普通 USB 摄像头、单路 1280×720 输入、目标 30 FPS,算法输出为叠加检测框的视频画面和结构化结果。
| 项目 | 示例基线 | 验收方式 |
|---|---|---|
| 输入 | Camera 0,期望 1280×720@30 | 读取后打印实际宽、高、FPS |
| 处理预算 | 单帧算法 p95 ≤ 25 ms | 连续统计至少 120 帧 |
| 端到端延迟 | ≤ 100 ms | 用画面时间戳或高帧率手机对拍 |
| 丢帧策略 | 队列最多保留 1 帧 | 处理慢时覆盖旧帧,不累积延迟 |
| 输出 | BGR 预览 + JSON 风格结果对象 | 检查坐标、置信度与帧号是否对应 |
30 FPS 的帧周期约为 33.3 ms。若算法本身 p95 已经超过 33.3 ms,即使平均值看起来不高,也应先降分辨率、降低模型频率或拆分采集与处理线程,而不是继续堆更多步骤。
先定数据流再定模块
一个可维护的实时视觉程序至少同时存在输入、预处理、算法、结果和显示几个对象。先约定每个边界传什么数据,再决定函数名和文件名,能避免后面出现“这个模块顺便改了颜色空间”的隐式副作用。

建议把一帧的公共上下文至少固定为 frame_id、采集时间戳和原始 BGR 图像。算法结果不要直接画到原图后再传给其他模块;保留原始帧与结果对象,显示层最后再叠加,这样录制、调试和离线回放都能复用同一份检测结果。
用最小基线测真实性能
下面的程序只做摄像头读取、灰度转换和 Canny 边缘检测,目的是建立“这台机器 + 这个摄像头 + 当前后端”的性能底线。运行前确保已经安装 OpenCV 与 NumPy,并有可用摄像头。
import time
import cv2
import numpy as np
def main():
cap = cv2.VideoCapture(0)
if not cap.isOpened():
raise RuntimeError("camera 0 cannot be opened")
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1280)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 720)
cap.set(cv2.CAP_PROP_FPS, 30)
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
capture_fps = cap.get(cv2.CAP_PROP_FPS)
times_ms = []
processed = 0
while processed < 120:
ok, frame = cap.read()
if not ok:
break
start = time.perf_counter()
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
_edges = cv2.Canny(gray, 100, 200)
times_ms.append((time.perf_counter() - start) * 1000.0)
processed += 1
cap.release()
if not times_ms:
raise RuntimeError("no frame was processed")
mean_ms = float(np.mean(times_ms))
p95_ms = float(np.percentile(times_ms, 95))
print("requested=1280x720@30")
print(f"actual={width}x{height}@{capture_fps:.1f}")
print(f"processed={processed} mean_ms={mean_ms:.2f} p95_ms={p95_ms:.2f}")
if __name__ == "__main__":
main()预期输出如下,<WIDTH>、<HEIGHT>、<FPS> 与 <TIME> 会随摄像头、驱动和机器变化:
requested=1280x720@30
actual=<WIDTH>x<HEIGHT>@<FPS>
processed=120 mean_ms=<TIME> p95_ms=<TIME>若 actual 与请求值不同,不要假设 cap.set() 已经生效;很多摄像头只支持离散分辨率和帧率组合。若 p95_ms 明显高于平均值,优先排查自动曝光、后台负载和分辨率,而不是只看平均耗时。
用目录边界配合验收线
最小项目可以只保留五类职责:src/capture.py 负责输入,src/preprocess.py 负责纯图像变换,src/vision.py 负责算法,src/render.py 负责可视化,main.py 只负责编排;测试素材放到 tests/data/,不要让算法模块自己打开摄像头或写文件。
提交前按同一台机器连续运行 5 分钟:确认没有不断增长的内存占用,处理 p95 仍在预算内,断开摄像头时能退出或报明确错误,输出坐标与显示画面使用同一帧号。做到这些后,再替换检测器或增加跟踪模块,性能退化才有可比较的基线。