机器人 / 系统课时

双目和 RGB-D 相机如何获得深度

双目和 RGB-D 相机如何获得深度

双目相机通过两幅图像的视差恢复距离,RGB-D 相机则提供每个像素对应的深度值,但 RGB-D 并不限定某一种测距原理。本篇用具体数值解释双目、结构光和 ToF 的测深机制,比较距离误差与环境限制,并说明如何在 ROS 2 中检查深度数据是否可靠。

学习目标

  • 根据相机焦距、双目基线和视差计算目标深度。
  • 区分双目、结构光与 ToF 的测量原理及典型失效条件。
  • 根据工作距离和环境选择传感器,并验证 ROS 2 深度图的单位、有效值和精度。

双目视差如何换算成深度

双目相机使用两个位置不同的镜头同时观察场景。同一个空间点在左右图像中的水平位置存在差异,这个差异称为视差。目标越近,视差通常越大;目标越远,视差越小。

计算深度之前,需要完成相机内参标定、左右相机外参标定和极线校正。校正后,同一空间点通常位于左右图像的同一行,可以沿水平方向寻找对应像素。

对于标准平行双目模型,深度计算公式为:

Z=fxBdZ=\frac{f_x B}{d}

其中,ZZ 为目标沿相机光轴方向的深度,单位为米;fxf_x 为水平方向焦距,单位为像素;BB 为左右相机光心之间的基线距离,单位为米;d=uL−uRd=u_L-u_R 为校正后对应点的视差,单位为像素。这里假设采用常见的左相机参考坐标和正视差约定。

假设一套双目设备具有以下参数:

  • 焦距 fx=600f_x=600 像素。
  • 基线 B=0.10B=0.10 米。
  • 某目标视差 d=30d=30 像素。

代入公式得到:

Z=600×0.1030=2.0 mZ=\frac{600\times0.10}{30}=2.0\ \text{m}

如果同一设备测得另一个目标的视差只有 15 像素,那么深度就是 4.0 米。视差缩小一半,计算深度增加一倍。

双目的优势是能够利用已知基线恢复米制尺度,不必依靠主动红外投射。但纯色墙面、重复纹理、遮挡区域、弱光场景以及左右相机时间不同步,都可能导致对应点匹配错误。

RGB-D 相机的深度从哪里来

RGB-D 表示同时提供彩色信息和深度信息,并不代表唯一的硬件测量方式。RGB-D 设备可以采用双目视觉,也可以采用结构光或飞行时间测量。后两者属于常见的主动深度感知方案。

结构光通过红外投射器向场景投射已知图案,再由红外相机观察图案在物体表面的位置变化。系统结合投射器与接收相机之间的标定几何关系,通过三角测量估计深度。

例如,一面缺少自然纹理的白墙可能让普通双目难以匹配,而投射在墙上的红外散斑能够提供人工特征。但强烈阳光可能淹没红外图案,透明或镜面材料也可能使图案无法正确成像。

**ToF(Time of Flight,飞行时间)**通过主动发射光并测量返回信号获取距离。直接 ToF 利用光的往返飞行时间测距,间接 ToF 通常根据调制光的相位变化估计距离。两者都不需要像普通双目那样寻找左右图像中的自然纹理对应点。

对于直接 ToF,理想化距离公式为:

R=cΔt2R=\frac{c\Delta t}{2}

其中 cc 为光速,Δt\Delta t 为光往返时间,除以 2 是因为光经历了发射到目标和目标返回接收器两段路程。这里的 RR 是光路对应的距离,转换为相机坐标系的轴向深度时还需要结合像素方向和相机模型。

双目视差、结构光与 ToF 三种深度测量机制对比

需要注意,部分 RGB-D 设备使用主动红外双目:两台红外相机通过视差估计深度,红外投射器只负责为缺少纹理的表面增加匹配特征。这种设备的深度来源仍然是双目几何,而不是 ToF。

测量距离为什么会影响深度噪声

双目系统的距离误差与视差测量精度直接相关。由深度公式可以得到小误差条件下的近似关系:

∣ΔZ∣≈Z2fxB∣Δd∣|\Delta Z|\approx\frac{Z^2}{f_x B}|\Delta d|

这说明在焦距、基线和视差误差保持不变时,双目深度误差近似随距离的平方增长。

沿用焦距 600 像素、基线 0.10 米的相机,假设视差误差约为 0.5 像素,可以得到以下理论近似值:

目标深度 理想视差 近似深度误差
2.0 m 30 px 0.033 m
4.0 m 15 px 0.133 m
6.0 m 10 px 0.300 m

这些数值是固定视差误差假设下的一阶误差估计,不代表相机厂商保证的实际测量精度。真实系统还会受到标定误差、图像噪声、匹配算法、遮挡和错误对应关系影响。

主动 RGB-D 相机不能统一套用这张双目误差表。结构光仍然涉及三角测量,其误差受到投射与接收几何结构、图案识别精度等因素影响;ToF 的测量误差则与返回信号强度、环境光、反射率、入射角和多径反射密切相关。

特别需要识别以下情况:

  • 距离过近:目标可能进入传感器的最小测距盲区,部分像素没有有效深度。
  • 距离过远:双目视差过小,主动深度相机的返回信号也可能弱于有效测量要求。
  • 玻璃与镜面:透明、透射或多路径反射可能使真实表面没有有效深度,或者产生错误距离。
  • 强烈日光:被动双目可能仍可利用可见光纹理,主动红外深度设备则可能受到明显干扰。

因此,不能仅根据最高分辨率判断深度性能。实际选型必须同时检查厂商给出的最小和最大有效测距、不同距离下的精度,以及光照和材料适用条件。

如何选择相机并验证深度数据

在视觉 SLAM 中,已标定的双目相机和 RGB-D 相机都能够提供米制深度,有助于缓解单目视觉无法直接确定绝对尺度的问题。但只有深度测量可靠,才能把这些观测用于机器人定位和地图构建。

以下是三个典型场景的初步选型建议:

工作场景 优先考虑 判断依据
室内 1~3 m、墙面纹理较少 ToF 或结构光 RGB-D 不完全依赖自然图像纹理,但需要确认反射率和有效量程
室外光照充足、场景纹理明显 被动双目 不依赖主动红外照明,但须满足基线、分辨率和远距离精度要求
玻璃多、镜面多或存在较远目标 多传感器互补 单种视觉深度机制可能大面积失效,需增加其他可靠约束

表中的距离是场景示例,不是所有 RGB-D 相机的统一工作范围。具体型号仍要以实际规格和测试结果为准。

接入 ROS 2 后,可按以下顺序核验数据:

  1. 确认消息类型和编码:深度图通常使用 sensor_msgs/msg/Image。检查 encoding,常见 32FC1 表示单通道浮点深度,通常以米为单位;16UC1 是单通道无符号整数,许多驱动使用毫米,但必须以对应驱动的说明为准。
  2. 读取相机内参:检查对应 sensor_msgs/msg/CameraInfo 的 K 矩阵,确认 fxf_x、fyf_y、cxc_x、cyc_y 与当前图像分辨率、标定状态和深度坐标系匹配。
  3. 检查无效像素:根据设备规范处理零值、NaN、无穷大或超出有效量程的深度,不能直接把它们当作真实空间点。
  4. 检查时间与坐标对齐:比较深度图、彩色图和相机标定消息的时间戳与 frame_id。未经配准的彩色像素坐标不能直接用于索引深度图中的同一物体点。
  5. 进行固定距离实验:将不透明、漫反射平板放在相机正前方约 2.00 米处,在图像中心选取 10×10 像素区域,连续采集 30 帧,计算有效像素深度的中位数及帧间变化范围。

可以为一个室内近距离项目设定示例验收条件:在 2.00 米测试位置,中心区域深度中位数与实际距离的偏差不超过 0.10 米,并且连续帧没有大量无效值。这只是项目自定义阈值,并非任何传感器的通用性能标准。测量时还应考虑相机光心与实际测距起点的位置差。

如果结果明显偏离,应依次检查深度单位、相机标定、目标是否超出量程、表面材质和光照条件,再判断是否存在传感器自身的精度限制。

对于 SLAM,双目适合有足够图像纹理且需要被动感知的环境,主动 RGB-D 适合其有效量程内、深度返回稳定的场景。无论选择哪一种,都应先用真实距离和连续帧实验验证深度观测,再把它送入后续位姿估计与建图流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

双目和 RGB-D 相机如何获得深度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通