计算机视觉 / 系统课时
处理鼠标交互
处理鼠标交互
鼠标交互让 OpenCV 窗口从“只看结果”变成可操作工具。本课用 cv2.setMouseCallback 实现坐标拾取与拖拽选区,并把按下、移动、释放三个事件组织成可复用的状态,避免选区反向拖动和坐标混乱。
学习目标
- 能监听左键按下、移动和释放事件,并读取当前图像坐标。
- 能用起点与当前点绘制拖拽预览,并生成规范化矩形区域。
- 能判断事件循环、窗口模式和无界面环境导致的交互失败。
认识回调参数与事件状态
鼠标回调函数固定接收 event, x, y, flags, param 五个参数。区域选择最常用 cv2.EVENT_LBUTTONDOWN、cv2.EVENT_MOUSEMOVE、cv2.EVENT_LBUTTONUP 三种事件;拖动状态建议放在 param 字典中,而不是散落成多个全局变量。

若只需要拾取一个坐标,可在 EVENT_LBUTTONDOWN 时直接记录 (x, y)。若要拖拽区域,则必须额外保存起点、当前点和 dragging 布尔值;释放时用 min、max 归一化坐标,才能同时支持从左上向右下和反向拖动。
实现坐标拾取与矩形选择
下面示例适用于带桌面 GUI 的 OpenCV-Python 4.x,并要求安装 opencv-python,而不是只提供无界面功能的 opencv-python-headless。窗口使用 WINDOW_AUTOSIZE,便于让鼠标位置与显示图像保持直接对应。
import cv2
import numpy as np
WINDOW = "mouse-demo"
state = {
"base": np.full((540, 960, 3), 235, dtype=np.uint8),
"dragging": False,
"start": None,
"current": None,
}
def on_mouse(event, x, y, flags, param):
# 按下记录起点,移动只更新预览,释放时再固化最终选区。
if event == cv2.EVENT_LBUTTONDOWN:
param["dragging"] = True
param["start"] = (x, y)
param["current"] = (x, y)
print(f"click: ({x}, {y})")
elif event == cv2.EVENT_MOUSEMOVE and param["dragging"]:
param["current"] = (x, y)
elif event == cv2.EVENT_LBUTTONUP and param["dragging"]:
param["dragging"] = False
x0, y0 = param["start"]
x1, x2 = sorted((x0, x))
y1, y2 = sorted((y0, y))
# NumPy ROI 使用半开区间,因此宽高直接是 x2-x1、y2-y1。
print(f"roi: x={x1}, y={y1}, w={x2 - x1}, h={y2 - y1}")
cv2.rectangle(param["base"], (x1, y1), (x2, y2), (0, 120, 255), 2)
param["current"] = (x, y)
cv2.namedWindow(WINDOW, cv2.WINDOW_AUTOSIZE)
cv2.setMouseCallback(WINDOW, on_mouse, state)
while True:
frame = state["base"].copy()
# 拖动期间只画预览,不反复写入 base,避免留下大量旧矩形。
if state["dragging"] and state["start"] and state["current"]:
cv2.rectangle(
frame,
state["start"],
state["current"],
(80, 80, 80),
1,
)
cv2.putText(
frame,
"Drag with left mouse button, press Q or ESC to exit",
(20, 35),
cv2.FONT_HERSHEY_SIMPLEX,
0.7,
(40, 40, 40),
2,
cv2.LINE_AA,
)
cv2.imshow(WINDOW, frame)
# waitKey 不只读键盘,也负责让 HighGUI 持续处理窗口事件。
key = cv2.waitKey(20) & 0xFF
if key in (27, ord("q")):
break
cv2.destroyAllWindows()预期输出
click: (<X>, <Y>)
roi: x=<X1>, y=<Y1>, w=<WIDTH>, h=<HEIGHT>实际数值取决于鼠标位置。窗口中拖动时会出现临时灰色矩形,松开左键后矩形固定为橙色;从右下向左上反向拖动也应得到非负的 w 和 h。
把矩形坐标用于 ROI
如果后续要裁剪区域,可在释放事件得到的规范化坐标后使用 image[y1:y2, x1:x2]。这里必须保持“先 y、后 x”,并记住 NumPy 切片不包含 x2 与 y2;例如 (100, 80) 到 (340, 260) 得到宽 240、高 180 的 ROI。
拖拽前还应检查 x2 > x1 且 y2 > y1,否则一次单击会产生空数组。真实标注工具通常还会设置最小选区,例如宽、高都至少 5 像素,再接受这个矩形,以过滤手抖产生的极小区域。
排查窗口没有响应或坐标异常
cv2.setMouseCallback 依赖 HighGUI 事件循环,因此 cv2.imshow 后必须持续调用 cv2.waitKey。如果窗口能出现但点击完全没有回调,先确认窗口名完全一致,再确认主循环没有被长时间计算阻塞;waitKey(10~30) 毫秒通常足够流畅。
在服务器、Docker 或 CI 中若没有图形桌面,imshow 和鼠标回调通常不能直接工作;此时应改成浏览器前端、Qt 等交互层,或只保留坐标数据处理逻辑。若本机误装 opencv-python-headless,应切换到带 GUI 后端的 OpenCV 包后再测试。