计算机视觉 / 系统课时

多目标跟踪

多目标跟踪

本课把逐帧目标检测升级为连续视频跟踪:为同一目标维持稳定编号,保存中心点历史,并把移动轨迹绘制到输出视频中。完成后,你将得到一个可直接运行的 YOLOv8 多目标跟踪程序。

学习目标

  • 理解检测框、跟踪器与 Track ID 之间的关系。
  • 使用 YOLOv8 跟踪模式读取目标编号。
  • 保存目标中心点并绘制连续移动轨迹。

检测为什么不能直接形成轨迹

目标检测只回答“这一帧里有什么、在哪里”,相邻两帧的检测框彼此独立。多目标跟踪会把当前检测框与历史轨迹做数据关联,再为匹配成功的目标维护 Track ID,因此程序才能判断两个框是否属于同一对象。

Ultralytics 的跟踪模式会在检测结果基础上维护跟踪器;逐帧调用时设置 persist=True,可让跟踪状态在连续帧之间保留,成功跟踪的编号从 boxes.id 读取。Track ID 只在当前跟踪会话内有意义,不等同于人员身份、车辆牌照或数据库主键。

检测框关联为目标编号并形成轨迹

轨迹通常保存为 track_id -> 最近若干中心点 的映射。使用定长队列只保留最近一段历史,可以避免长视频不断占用内存,并让画面保持清晰。

实现带编号和轨迹的视频

运行前准备 Python 环境,安装 ultralytics 与 opencv-python,并把测试视频命名为 input.mp4。下面示例使用 yolov8n.pt 和 ByteTrack;首次运行时模型权重可能自动下载。

python
from collections import defaultdict, deque

import cv2
from ultralytics import YOLO

INPUT_VIDEO = "input.mp4"
OUTPUT_VIDEO = "tracked.mp4"
MODEL_PATH = "yolov8n.pt"
MAX_TRAIL_POINTS = 30

def main() -> None:
    cap = cv2.VideoCapture(INPUT_VIDEO)
    if not cap.isOpened():
        raise RuntimeError(f"无法打开视频:{INPUT_VIDEO}")

    width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    fps = cap.get(cv2.CAP_PROP_FPS)
    if fps <= 0:
        fps = 25.0

    writer = cv2.VideoWriter(
        OUTPUT_VIDEO,
        cv2.VideoWriter_fourcc(*"mp4v"),
        fps,
        (width, height),
    )
    if not writer.isOpened():
        cap.release()
        raise RuntimeError(f"无法创建输出视频:{OUTPUT_VIDEO}")

    model = YOLO(MODEL_PATH)
    histories = defaultdict(lambda: deque(maxlen=MAX_TRAIL_POINTS))
    frame_count = 0

    try:
        while True:
            ok, frame = cap.read()
            if not ok:
                break

            # persist=True 让跟踪器把上一帧状态带到当前帧。
            result = model.track(
                frame,
                persist=True,
                tracker="bytetrack.yaml",
                verbose=False,
            )[0]
            canvas = result.plot()

            boxes = result.boxes
            if boxes is not None and boxes.id is not None:
                centers = boxes.xywh.cpu().tolist()
                track_ids = boxes.id.int().cpu().tolist()

                for (x, y, _, _), track_id in zip(centers, track_ids):
                    center = (int(x), int(y))
                    histories[track_id].append(center)

                    # 只连接同一 Track ID 的历史点。
                    points = list(histories[track_id])
                    for start, end in zip(points, points[1:]):
                        cv2.line(canvas, start, end, (0, 255, 255), 2)

                    cv2.putText(
                        canvas,
                        f"ID {track_id}",
                        (center[0] + 4, center[1] - 6),
                        cv2.FONT_HERSHEY_SIMPLEX,
                        0.55,
                        (0, 255, 255),
                        2,
                    )

            writer.write(canvas)
            frame_count += 1
    finally:
        cap.release()
        writer.release()

    print(f"处理完成:{OUTPUT_VIDEO},共 {frame_count} 帧")

if __name__ == "__main__":
    main()

预期输出

text
处理完成:tracked.mp4,共 <FRAME_COUNT> 帧

<FRAME_COUNT> 由输入视频长度决定。打开 tracked.mp4 后,应看到检测框、Track ID,以及每个目标最近 30 个中心点形成的轨迹线。

关键边界与调优

短暂遮挡、目标重叠、快速运动或检测漏帧都可能导致 ID 切换。此时旧目标会获得新编号,轨迹也会从新编号重新开始。可以优先改善检测质量,再调整跟踪器配置,而不是只增加轨迹长度。

conf 过高会增加漏检,过低会引入误检;轨迹点过多会遮挡画面并增加绘制开销。实际项目应选择固定类别、限制检测区域,并定期清理长时间未出现的 Track ID。需要比较跟踪效果时,可分别测试 bytetrack.yaml 与项目默认跟踪器,但同一段视频要保持相同检测参数。

验收结果

先抽取包含交叉、遮挡和进出画面的片段,逐帧观察编号是否连续。验收重点不是轨迹是否好看,而是同一目标在大多数可见帧中是否保持相同 ID,以及不同目标交汇后是否发生编号交换。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

多目标跟踪

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通