计算机视觉 / 系统课时
处理跟踪丢失
处理跟踪丢失
目标跟踪真正难的是失败之后怎么恢复。本课把遮挡、快速运动和尺度突变转成可检测的异常,再用“连续失败计数 + 重新检测 + 重新初始化”恢复轨迹,并给出一个可运行的模板匹配版本作为最小实现。
学习目标
- 区分短暂遮挡、越界和真实漂移,不因单帧失败立即重置轨迹。
- 用明确状态和阈值组织 TRACKING、LOST、REDETECTING 与重新初始化。
- 实现一个模板匹配重检测器,并知道它对尺度变化和外观变化的限制。
先定义什么算丢失
最简单的信号是 tracker.update() 返回 False,但工程上不应只看这一位。建议把“失败”定义为:tracked=False,或新框不满足几何合理性。几何规则不是 OpenCV 固定标准,而是项目阈值,必须根据视频运动范围校准。
例如 1280×720 固定机位中,可先用这组起始值:连续异常 3 帧后进入重检测;单帧框面积相对上一帧只接受 0.5~2.0 倍;框中心单帧跳动不超过画面对角线的 35%。若镜头本身快速运动,这些阈值要放宽,否则会把真实运动误判为丢失。
遮挡通常表现为短时间 False 或框冻结;快速运动更容易造成中心位移突增;尺度变化则常表现为框尺寸跟不上目标。把三种现象都归一成“当前框不可信”,恢复逻辑会比为每种原因写一套分支更简单。
用状态机组织恢复
不要在第一次失败时马上创建新 tracker。更稳的做法是先累计失败帧数,允许 1~2 帧短暂抖动;达到阈值后再调用重新检测器。重新检测成功后必须创建新的 tracker 并重新 init(),因为旧 tracker 的内部模型已经建立在错误位置附近。

一套可直接检查的状态规则是:lost_count=0 表示 TRACKING;连续 1~2 帧异常只计数;第 3 帧开始尝试重检测;重检测分数达到 0.78 才重建 tracker,否则继续保持 LOST。0.78 是示例初值,不是通用标准,应在真实数据上统计误检和漏检后调整。
实现模板重检测与重初始化
下面的最小实现把首帧 ROI 保存为灰度模板。跟踪异常连续 3 帧后,用 cv2.matchTemplate() 在整帧搜索;当 TM_CCOEFF_NORMED 的最大分数至少为 0.78 时,用该位置重新创建 CSRT。它适合目标尺度和外观变化较小的演示,不适合大尺度变化或同类目标很多的场景。
import math
import cv2
MATCH_THRESHOLD = 0.78
MAX_LOST_FRAMES = 3
def create_csrt():
if hasattr(cv2, "TrackerCSRT_create"):
return cv2.TrackerCSRT_create()
if hasattr(cv2, "legacy") and hasattr(cv2.legacy, "TrackerCSRT_create"):
return cv2.legacy.TrackerCSRT_create()
raise RuntimeError("CSRT tracker is unavailable")
def is_plausible(box, prev_box, frame_shape):
x, y, w, h = box
px, py, pw, ph = prev_box
height, width = frame_shape[:2]
if w <= 0 or h <= 0:
return False
area_ratio = (w * h) / max(pw * ph, 1.0)
cx, cy = x + w / 2.0, y + h / 2.0
pcx, pcy = px + pw / 2.0, py + ph / 2.0
jump = math.hypot(cx - pcx, cy - pcy)
max_jump = 0.35 * math.hypot(width, height)
return 0.5 <= area_ratio <= 2.0 and jump <= max_jump
def redetect(frame, template):
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
response = cv2.matchTemplate(gray, template, cv2.TM_CCOEFF_NORMED)
_, score, _, max_loc = cv2.minMaxLoc(response)
if score < MATCH_THRESHOLD:
return None, score
th, tw = template.shape
x, y = max_loc
return (x, y, tw, th), score
cap = cv2.VideoCapture("input.mp4")
ok, first = cap.read()
if not ok:
raise RuntimeError("Cannot read input.mp4")
initial_box = cv2.selectROI("Select target", first, False, True)
if initial_box[2] <= 0 or initial_box[3] <= 0:
raise RuntimeError("Empty ROI")
x, y, w, h = map(int, initial_box)
template = cv2.cvtColor(first[y:y+h, x:x+w], cv2.COLOR_BGR2GRAY)
tracker = create_csrt()
tracker.init(first, initial_box)
prev_box = tuple(map(float, initial_box))
lost_count = 0
print("state=TRACKING")
while True:
ok, frame = cap.read()
if not ok:
break
tracked, box = tracker.update(frame)
valid = tracked and is_plausible(box, prev_box, frame.shape)
if valid:
prev_box = tuple(map(float, box))
lost_count = 0
else:
lost_count += 1
print(f"state=LOST lost_frames={lost_count}")
if lost_count >= MAX_LOST_FRAMES:
candidate, score = redetect(frame, template)
if candidate is not None:
tracker = create_csrt()
tracker.init(frame, candidate)
prev_box = tuple(map(float, candidate))
lost_count = 0
print(f"state=REACQUIRED score={score:.2f} bbox={candidate}")
x, y, w, h = map(int, prev_box)
color = (0, 255, 0) if lost_count == 0 else (0, 0, 255)
cv2.rectangle(frame, (x, y), (x + w, y + h), color, 2)
cv2.imshow("Recovery tracking", frame)
if cv2.waitKey(1) == 27:
break
cap.release()
cv2.destroyAllWindows()预期结果:正常阶段先打印 state=TRACKING;发生遮挡或异常框时连续打印丢失计数;目标重新出现且模板分数达到阈值后打印重新捕获信息,并恢复绿色跟踪框。
state=TRACKING
state=LOST lost_frames=1
state=LOST lost_frames=2
state=LOST lost_frames=3
state=REACQUIRED score=<SCORE> bbox=(<X>, <Y>, <W>, <H>)<SCORE> 与坐标取决于视频内容。若目标尺度明显变化,固定模板尺寸无法可靠重检测;这时应把 redetect() 替换为能输出目标框的检测器,再沿用同一套“检测成功后重建 tracker”的状态逻辑。
验收遮挡和快速运动
不要只用一段顺滑视频验证恢复。至少准备三段测试:完整遮挡 0.5~1.0 秒、目标在 3~5 帧内跨越画面宽度约 20%、目标面积逐渐变为初始值的 0.5 倍或 2 倍。逐段记录恢复是否成功、恢复耗时帧数和是否抓错同类目标。
模板匹配只适合“外观近似且尺度变化小”的基线方案。若 2 倍尺度测试频繁失败,这是预期限制,不应继续降低阈值硬救;更合理的修正是使用目标检测器、特征匹配或多尺度搜索作为重检测器,同时保留 3 帧迟滞与重新初始化机制,避免短暂噪声反复重建轨迹。