机器人 / 系统课时
双目和 RGB-D 相机如何获得深度
双目和 RGB-D 相机如何获得深度
双目相机通过两幅图像的视差恢复距离,RGB-D 相机则提供每个像素对应的深度值,但 RGB-D 并不限定某一种测距原理。本篇用具体数值解释双目、结构光和 ToF 的测深机制,比较距离误差与环境限制,并说明如何在 ROS 2 中检查深度数据是否可靠。
学习目标
- 根据相机焦距、双目基线和视差计算目标深度。
- 区分双目、结构光与 ToF 的测量原理及典型失效条件。
- 根据工作距离和环境选择传感器,并验证 ROS 2 深度图的单位、有效值和精度。
双目视差如何换算成深度
双目相机使用两个位置不同的镜头同时观察场景。同一个空间点在左右图像中的水平位置存在差异,这个差异称为视差。目标越近,视差通常越大;目标越远,视差越小。
计算深度之前,需要完成相机内参标定、左右相机外参标定和极线校正。校正后,同一空间点通常位于左右图像的同一行,可以沿水平方向寻找对应像素。
对于标准平行双目模型,深度计算公式为:
其中, 为目标沿相机光轴方向的深度,单位为米; 为水平方向焦距,单位为像素; 为左右相机光心之间的基线距离,单位为米; 为校正后对应点的视差,单位为像素。这里假设采用常见的左相机参考坐标和正视差约定。
假设一套双目设备具有以下参数:
- 焦距 像素。
- 基线 米。
- 某目标视差 像素。
代入公式得到:
如果同一设备测得另一个目标的视差只有 15 像素,那么深度就是 4.0 米。视差缩小一半,计算深度增加一倍。
双目的优势是能够利用已知基线恢复米制尺度,不必依靠主动红外投射。但纯色墙面、重复纹理、遮挡区域、弱光场景以及左右相机时间不同步,都可能导致对应点匹配错误。
RGB-D 相机的深度从哪里来
RGB-D 表示同时提供彩色信息和深度信息,并不代表唯一的硬件测量方式。RGB-D 设备可以采用双目视觉,也可以采用结构光或飞行时间测量。后两者属于常见的主动深度感知方案。
结构光通过红外投射器向场景投射已知图案,再由红外相机观察图案在物体表面的位置变化。系统结合投射器与接收相机之间的标定几何关系,通过三角测量估计深度。
例如,一面缺少自然纹理的白墙可能让普通双目难以匹配,而投射在墙上的红外散斑能够提供人工特征。但强烈阳光可能淹没红外图案,透明或镜面材料也可能使图案无法正确成像。
**ToF(Time of Flight,飞行时间)**通过主动发射光并测量返回信号获取距离。直接 ToF 利用光的往返飞行时间测距,间接 ToF 通常根据调制光的相位变化估计距离。两者都不需要像普通双目那样寻找左右图像中的自然纹理对应点。
对于直接 ToF,理想化距离公式为:
其中 为光速, 为光往返时间,除以 2 是因为光经历了发射到目标和目标返回接收器两段路程。这里的 是光路对应的距离,转换为相机坐标系的轴向深度时还需要结合像素方向和相机模型。

需要注意,部分 RGB-D 设备使用主动红外双目:两台红外相机通过视差估计深度,红外投射器只负责为缺少纹理的表面增加匹配特征。这种设备的深度来源仍然是双目几何,而不是 ToF。
测量距离为什么会影响深度噪声
双目系统的距离误差与视差测量精度直接相关。由深度公式可以得到小误差条件下的近似关系:
这说明在焦距、基线和视差误差保持不变时,双目深度误差近似随距离的平方增长。
沿用焦距 600 像素、基线 0.10 米的相机,假设视差误差约为 0.5 像素,可以得到以下理论近似值:
| 目标深度 | 理想视差 | 近似深度误差 |
|---|---|---|
| 2.0 m | 30 px | 0.033 m |
| 4.0 m | 15 px | 0.133 m |
| 6.0 m | 10 px | 0.300 m |
这些数值是固定视差误差假设下的一阶误差估计,不代表相机厂商保证的实际测量精度。真实系统还会受到标定误差、图像噪声、匹配算法、遮挡和错误对应关系影响。
主动 RGB-D 相机不能统一套用这张双目误差表。结构光仍然涉及三角测量,其误差受到投射与接收几何结构、图案识别精度等因素影响;ToF 的测量误差则与返回信号强度、环境光、反射率、入射角和多径反射密切相关。
特别需要识别以下情况:
- 距离过近:目标可能进入传感器的最小测距盲区,部分像素没有有效深度。
- 距离过远:双目视差过小,主动深度相机的返回信号也可能弱于有效测量要求。
- 玻璃与镜面:透明、透射或多路径反射可能使真实表面没有有效深度,或者产生错误距离。
- 强烈日光:被动双目可能仍可利用可见光纹理,主动红外深度设备则可能受到明显干扰。
因此,不能仅根据最高分辨率判断深度性能。实际选型必须同时检查厂商给出的最小和最大有效测距、不同距离下的精度,以及光照和材料适用条件。
如何选择相机并验证深度数据
在视觉 SLAM 中,已标定的双目相机和 RGB-D 相机都能够提供米制深度,有助于缓解单目视觉无法直接确定绝对尺度的问题。但只有深度测量可靠,才能把这些观测用于机器人定位和地图构建。
以下是三个典型场景的初步选型建议:
| 工作场景 | 优先考虑 | 判断依据 |
|---|---|---|
| 室内 1~3 m、墙面纹理较少 | ToF 或结构光 RGB-D | 不完全依赖自然图像纹理,但需要确认反射率和有效量程 |
| 室外光照充足、场景纹理明显 | 被动双目 | 不依赖主动红外照明,但须满足基线、分辨率和远距离精度要求 |
| 玻璃多、镜面多或存在较远目标 | 多传感器互补 | 单种视觉深度机制可能大面积失效,需增加其他可靠约束 |
表中的距离是场景示例,不是所有 RGB-D 相机的统一工作范围。具体型号仍要以实际规格和测试结果为准。
接入 ROS 2 后,可按以下顺序核验数据:
- 确认消息类型和编码:深度图通常使用
sensor_msgs/msg/Image。检查encoding,常见32FC1表示单通道浮点深度,通常以米为单位;16UC1是单通道无符号整数,许多驱动使用毫米,但必须以对应驱动的说明为准。 - 读取相机内参:检查对应
sensor_msgs/msg/CameraInfo的K矩阵,确认 、、、 与当前图像分辨率、标定状态和深度坐标系匹配。 - 检查无效像素:根据设备规范处理零值、NaN、无穷大或超出有效量程的深度,不能直接把它们当作真实空间点。
- 检查时间与坐标对齐:比较深度图、彩色图和相机标定消息的时间戳与
frame_id。未经配准的彩色像素坐标不能直接用于索引深度图中的同一物体点。 - 进行固定距离实验:将不透明、漫反射平板放在相机正前方约 2.00 米处,在图像中心选取 10×10 像素区域,连续采集 30 帧,计算有效像素深度的中位数及帧间变化范围。
可以为一个室内近距离项目设定示例验收条件:在 2.00 米测试位置,中心区域深度中位数与实际距离的偏差不超过 0.10 米,并且连续帧没有大量无效值。这只是项目自定义阈值,并非任何传感器的通用性能标准。测量时还应考虑相机光心与实际测距起点的位置差。
如果结果明显偏离,应依次检查深度单位、相机标定、目标是否超出量程、表面材质和光照条件,再判断是否存在传感器自身的精度限制。
对于 SLAM,双目适合有足够图像纹理且需要被动感知的环境,主动 RGB-D 适合其有效量程内、深度返回稳定的场景。无论选择哪一种,都应先用真实距离和连续帧实验验证深度观测,再把它送入后续位姿估计与建图流程。