计算机视觉 / 系统课时

加入结果统计与保存

加入结果统计与保存

实时检测完成后,工程项目通常还要回答“这一帧有几个目标、处理了多久、结果能否复查”。本课把计数、耗时、截图、标注视频和 JSONL 记录接到同一条逐帧链路中,并给出能直接核对文件完整性的保存方式。

学习目标

  • 记录每帧目标数和处理耗时,并区分“每帧检测数”与“唯一目标数”。
  • 用 VideoWriter 保存尺寸一致的标注视频,并按键保存截图。
  • 以 JSONL 逐帧落盘结构化结果,便于后续统计或回放。

先定义要保存的四类结果

建议把所有输出放在同一个 runs 目录。标注视频使用输入首帧的宽高,帧率优先读取 CAP_PROP_FPS;摄像头返回 0 或异常值时可回退到 30 FPS。结构化记录采用 JSONL,每行对应一帧,避免长视频结束时一次性持有全部结果。

结果 文件或字段 建议值
每帧统计 count、processing_ms 毫秒保留 2 位小数
标注视频 runs/annotated.mp4 mp4v、源 FPS、原始帧尺寸
截图 runs/frame_000123.jpg 按 s 时保存当前标注帧
结构化结果 runs/detections.jsonl 一帧一行 JSON

count 只是当前帧的检测框数量。某个人连续出现 100 帧,会贡献 100 次“检测观察”,但仍可能只是 1 个唯一目标。需要唯一计数时,应先跟踪并分配稳定 ID,再按 ID 去重。

把统计点放在正确位置

耗时应从预处理前开始,到检测结束后停止;截图和视频应保存已经画框的同一帧,JSONL 则记录同一帧的框坐标。这样复查 frame=120 时,结构化数据与视频画面才能一一对应。

实时检测结果分流到统计叠加、视频、截图和 JSONL 的数据流

完整实现统计与落盘

下面示例仍使用 OpenCV 自带正脸 Haar 级联,避免额外模型下载。代码会始终写入标注视频和 JSONL;运行期间按 s 保存当前截图,按 q 结束。VideoWriter 在拿到第一帧后再创建,可避免错误的宽高导致输出文件打不开。

python
import argparse
import json
import time
from pathlib import Path

import cv2

def parse_source(value: str):
    return int(value) if value.isdigit() else value

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("--source", default="0")
    args = parser.parse_args()

    out_dir = Path("runs")
    out_dir.mkdir(parents=True, exist_ok=True)

    cascade_path = cv2.data.haarcascades + "haarcascade_frontalface_default.xml"
    detector = cv2.CascadeClassifier(cascade_path)
    if detector.empty():
        raise RuntimeError(f"failed to load cascade: {cascade_path}")

    cap = cv2.VideoCapture(parse_source(args.source))
    if not cap.isOpened():
        raise RuntimeError(f"cannot open source: {args.source}")

    source_fps = cap.get(cv2.CAP_PROP_FPS)
    output_fps = source_fps if source_fps and source_fps > 1.0 else 30.0

    writer = None
    frame_id = 0
    video_path = out_dir / "annotated.mp4"
    jsonl_path = out_dir / "detections.jsonl"

    try:
        with jsonl_path.open("w", encoding="utf-8") as log_file:
            while True:
                ok, frame = cap.read()
                if not ok:
                    break

                frame_id += 1
                if writer is None:
                    height, width = frame.shape[:2]
                    fourcc = cv2.VideoWriter_fourcc(*"mp4v")
                    writer = cv2.VideoWriter(
                        str(video_path),
                        fourcc,
                        output_fps,
                        (width, height),
                    )
                    if not writer.isOpened():
                        raise RuntimeError("cannot open VideoWriter")

                started = time.perf_counter()
                gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
                faces = detector.detectMultiScale(
                    gray,
                    scaleFactor=1.1,
                    minNeighbors=5,
                    minSize=(40, 40),
                )
                processing_ms = (time.perf_counter() - started) * 1000.0

                boxes = []
                for x, y, w, h in faces:
                    box = {"x": int(x), "y": int(y), "w": int(w), "h": int(h)}
                    boxes.append(box)
                    cv2.rectangle(
                        frame,
                        (box["x"], box["y"]),
                        (box["x"] + box["w"], box["y"] + box["h"]),
                        (0, 255, 0),
                        2,
                    )

                cv2.putText(
                    frame,
                    f"count={len(boxes)} process={processing_ms:.1f} ms",
                    (12, 28),
                    cv2.FONT_HERSHEY_SIMPLEX,
                    0.7,
                    (0, 255, 0),
                    2,
                )

                writer.write(frame)
                record = {
                    "frame": frame_id,
                    "count": len(boxes),
                    "processing_ms": round(processing_ms, 2),
                    "boxes": boxes,
                }
                log_file.write(json.dumps(record, ensure_ascii=False) + "\n")
                if frame_id % 30 == 0:
                    log_file.flush()

                cv2.imshow("Detection Recorder", frame)
                key = cv2.waitKey(1) & 0xFF

                if key == ord("s"):
                    shot_path = out_dir / f"frame_{frame_id:06d}.jpg"
                    if cv2.imwrite(str(shot_path), frame):
                        print(f"saved screenshot: {shot_path}")

                if key == ord("q"):
                    break
    finally:
        cap.release()
        if writer is not None:
            writer.release()
        cv2.destroyAllWindows()

    print(f"video: {video_path}")
    print(f"jsonl: {jsonl_path}")
    print(f"frames={frame_id}")

if __name__ == "__main__":
    main()

预期输出:退出后至少生成视频和 JSONL;如果运行时按过 s,还会额外出现截图文件。动态帧数与截图编号取决于实际输入。

text
video: runs/annotated.mp4
jsonl: runs/detections.jsonl
frames=<FRAME_COUNT>

JSONL 中每行都是独立 JSON 对象,例如某一帧检测到 2 个目标时可以是下面这种结构;实际坐标和耗时会随视频变化。

json
{"frame":17,"count":2,"processing_ms":7.84,"boxes":[{"x":82,"y":61,"w":96,"h":96},{"x":311,"y":74,"w":88,"h":88}]}

校验视频与结构化记录

先检查 annotated.mp4 能否正常播放到结尾,再抽查 3 个帧号,例如 30、120、300:画面上的框数量应与对应 JSONL 行的 count 一致。若输入是 30 FPS 视频,输出也应接近 30 FPS;如果摄像头无法报告 FPS,示例固定回退到 30 FPS,因此录制时长可能与真实采集时长略有差异。

视频写入最常见的硬错误是尺寸不一致。VideoWriter 创建时若使用 (640, 480),后续每一帧也必须是 640×480;若中途 resize 成 320×240 后直接 write,结果可能是空文件、损坏文件或无法解码。需要缩放时,应先确定最终尺寸,再用同一尺寸创建 writer。

处理常见保存失败

当 annotated.mp4 为 0 KB 或打不开,先检查 writer.isOpened(),再核对 fourcc、帧尺寸和输出目录写权限。mp4v 在常见 OpenCV 4.x 桌面环境中可用;若目标播放器对 MP4 编码支持有限,可改存 AVI 并使用 MJPG,但扩展名和编码器要匹配。

JSONL 不要在每一帧都强制 flush(),否则机械盘或网络盘上会明显拉低实时性能。示例每 30 帧刷新一次,进程正常退出时文件会自动关闭并刷新剩余数据。若业务不能接受突然断电丢失最后几十帧,可把刷新间隔改成 1~5 帧,并用实际机器重新测量处理延迟。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

加入结果统计与保存

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通