计算机视觉 / 系统课时

处理跟踪丢失

处理跟踪丢失

目标跟踪真正难的是失败之后怎么恢复。本课把遮挡、快速运动和尺度突变转成可检测的异常,再用“连续失败计数 + 重新检测 + 重新初始化”恢复轨迹,并给出一个可运行的模板匹配版本作为最小实现。

学习目标

  • 区分短暂遮挡、越界和真实漂移,不因单帧失败立即重置轨迹。
  • 用明确状态和阈值组织 TRACKING、LOST、REDETECTING 与重新初始化。
  • 实现一个模板匹配重检测器,并知道它对尺度变化和外观变化的限制。

先定义什么算丢失

最简单的信号是 tracker.update() 返回 False,但工程上不应只看这一位。建议把“失败”定义为:tracked=False,或新框不满足几何合理性。几何规则不是 OpenCV 固定标准,而是项目阈值,必须根据视频运动范围校准。

例如 1280×720 固定机位中,可先用这组起始值:连续异常 3 帧后进入重检测;单帧框面积相对上一帧只接受 0.5~2.0 倍;框中心单帧跳动不超过画面对角线的 35%。若镜头本身快速运动,这些阈值要放宽,否则会把真实运动误判为丢失。

遮挡通常表现为短时间 False 或框冻结;快速运动更容易造成中心位移突增;尺度变化则常表现为框尺寸跟不上目标。把三种现象都归一成“当前框不可信”,恢复逻辑会比为每种原因写一套分支更简单。

用状态机组织恢复

不要在第一次失败时马上创建新 tracker。更稳的做法是先累计失败帧数,允许 1~2 帧短暂抖动;达到阈值后再调用重新检测器。重新检测成功后必须创建新的 tracker 并重新 init(),因为旧 tracker 的内部模型已经建立在错误位置附近。

跟踪丢失后的状态迁移与重新检测流程

一套可直接检查的状态规则是:lost_count=0 表示 TRACKING;连续 1~2 帧异常只计数;第 3 帧开始尝试重检测;重检测分数达到 0.78 才重建 tracker,否则继续保持 LOST。0.78 是示例初值,不是通用标准,应在真实数据上统计误检和漏检后调整。

实现模板重检测与重初始化

下面的最小实现把首帧 ROI 保存为灰度模板。跟踪异常连续 3 帧后,用 cv2.matchTemplate() 在整帧搜索;当 TM_CCOEFF_NORMED 的最大分数至少为 0.78 时,用该位置重新创建 CSRT。它适合目标尺度和外观变化较小的演示,不适合大尺度变化或同类目标很多的场景。

python
import math
import cv2

MATCH_THRESHOLD = 0.78
MAX_LOST_FRAMES = 3

def create_csrt():
    if hasattr(cv2, "TrackerCSRT_create"):
        return cv2.TrackerCSRT_create()
    if hasattr(cv2, "legacy") and hasattr(cv2.legacy, "TrackerCSRT_create"):
        return cv2.legacy.TrackerCSRT_create()
    raise RuntimeError("CSRT tracker is unavailable")

def is_plausible(box, prev_box, frame_shape):
    x, y, w, h = box
    px, py, pw, ph = prev_box
    height, width = frame_shape[:2]
    if w <= 0 or h <= 0:
        return False

    area_ratio = (w * h) / max(pw * ph, 1.0)
    cx, cy = x + w / 2.0, y + h / 2.0
    pcx, pcy = px + pw / 2.0, py + ph / 2.0
    jump = math.hypot(cx - pcx, cy - pcy)
    max_jump = 0.35 * math.hypot(width, height)
    return 0.5 <= area_ratio <= 2.0 and jump <= max_jump

def redetect(frame, template):
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    response = cv2.matchTemplate(gray, template, cv2.TM_CCOEFF_NORMED)
    _, score, _, max_loc = cv2.minMaxLoc(response)
    if score < MATCH_THRESHOLD:
        return None, score

    th, tw = template.shape
    x, y = max_loc
    return (x, y, tw, th), score

cap = cv2.VideoCapture("input.mp4")
ok, first = cap.read()
if not ok:
    raise RuntimeError("Cannot read input.mp4")

initial_box = cv2.selectROI("Select target", first, False, True)
if initial_box[2] <= 0 or initial_box[3] <= 0:
    raise RuntimeError("Empty ROI")

x, y, w, h = map(int, initial_box)
template = cv2.cvtColor(first[y:y+h, x:x+w], cv2.COLOR_BGR2GRAY)

tracker = create_csrt()
tracker.init(first, initial_box)
prev_box = tuple(map(float, initial_box))
lost_count = 0
print("state=TRACKING")

while True:
    ok, frame = cap.read()
    if not ok:
        break

    tracked, box = tracker.update(frame)
    valid = tracked and is_plausible(box, prev_box, frame.shape)

    if valid:
        prev_box = tuple(map(float, box))
        lost_count = 0
    else:
        lost_count += 1
        print(f"state=LOST lost_frames={lost_count}")

        if lost_count >= MAX_LOST_FRAMES:
            candidate, score = redetect(frame, template)
            if candidate is not None:
                tracker = create_csrt()
                tracker.init(frame, candidate)
                prev_box = tuple(map(float, candidate))
                lost_count = 0
                print(f"state=REACQUIRED score={score:.2f} bbox={candidate}")

    x, y, w, h = map(int, prev_box)
    color = (0, 255, 0) if lost_count == 0 else (0, 0, 255)
    cv2.rectangle(frame, (x, y), (x + w, y + h), color, 2)
    cv2.imshow("Recovery tracking", frame)

    if cv2.waitKey(1) == 27:
        break

cap.release()
cv2.destroyAllWindows()

预期结果:正常阶段先打印 state=TRACKING;发生遮挡或异常框时连续打印丢失计数;目标重新出现且模板分数达到阈值后打印重新捕获信息,并恢复绿色跟踪框。

text
state=TRACKING
state=LOST lost_frames=1
state=LOST lost_frames=2
state=LOST lost_frames=3
state=REACQUIRED score=<SCORE> bbox=(<X>, <Y>, <W>, <H>)

<SCORE> 与坐标取决于视频内容。若目标尺度明显变化,固定模板尺寸无法可靠重检测;这时应把 redetect() 替换为能输出目标框的检测器,再沿用同一套“检测成功后重建 tracker”的状态逻辑。

验收遮挡和快速运动

不要只用一段顺滑视频验证恢复。至少准备三段测试:完整遮挡 0.5~1.0 秒、目标在 3~5 帧内跨越画面宽度约 20%、目标面积逐渐变为初始值的 0.5 倍或 2 倍。逐段记录恢复是否成功、恢复耗时帧数和是否抓错同类目标。

模板匹配只适合“外观近似且尺度变化小”的基线方案。若 2 倍尺度测试频繁失败,这是预期限制,不应继续降低阈值硬救;更合理的修正是使用目标检测器、特征匹配或多尺度搜索作为重检测器,同时保留 3 帧迟滞与重新初始化机制,避免短暂噪声反复重建轨迹。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理跟踪丢失

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通