机器人 / 系统课时

区分眼在手上与眼在手外的变换链

区分眼在手上与眼在手外的变换链

相机安装在机器人末端还是固定在工位,决定视觉目标换算到基座坐标时需要哪些变换。若把固定外参与随关节变化的位姿混用,抓取目标就可能随机械臂运动产生漂移。本课分别建立两种安装方式的变换链,并通过数值算例验证相机位姿与关节状态之间的关系。

学习目标

  • 区分眼在手上与眼在手外的安装方式,识别各自需要标定的固定外参。
  • 根据坐标系定义写出从相机观测到机器人基座、末端法兰的正确变换链。
  • 通过数值计算判断哪些变换随关节状态变化,并检查实际系统中的坐标转换错误。

统一坐标系与变换方向

先约定四个坐标系,避免同一个矩阵符号在不同设备接口中表示相反方向。

符号 坐标系 实际含义
B 机器人基座系 机器人正运动学的参考坐标系
E 末端法兰系 机器人控制器报告的末端连接坐标系
C 相机坐标系 视觉算法输出目标位姿所使用的坐标系
O 目标物体坐标系 标定板、工件或待抓取目标的局部坐标系

定义 ATB{}^{A}T_{B} 为把 B 系中的齐次坐标转换到 A 系的刚体变换。三维情况下,它是包含旋转矩阵和平移向量的 4×44\times4 齐次矩阵。

例如,BTE(q){}^{B}T_{E}(q) 表示法兰相对于机器人基座的位姿,由关节状态 qq 通过正运动学计算得到;CTO{}^{C}T_{O} 则表示视觉算法估计出的目标相对于相机的位姿。

矩阵连乘遵循右侧先作用的顺序:

BTO=BTCCTO{}^{B}T_{O}={}^{B}T_{C}{}^{C}T_{O}

其中,中间相邻的 C 坐标系必须一致。若拿到的是 CTB{}^{C}T_{B},就必须先求逆才能代入上述公式。

这里假设视觉算法已经获得完整目标位姿。单个二维像素坐标不能直接构成 CTO{}^{C}T_{O};通常需要结合深度信息、已知目标几何与 PnP 位姿估计,或者其他三维测量方法。

眼在手上:相机跟随机械臂运动

眼在手上(Eye-in-Hand)是指相机刚性安装在末端法兰或与法兰固定连接的工具支架上。机械臂改变关节角时,相机的位置和朝向也会变化。

这一配置有三个关键变换:

  • BTE(q){}^{B}T_{E}(q):基座到法兰,由机器人正运动学实时计算,随关节状态变化。
  • ETC{}^{E}T_{C}:法兰到相机,由手眼标定获得。只要安装结构没有变化,它就是固定外参。
  • CTO{}^{C}T_{O}:相机到目标,由当前图像对应的视觉估计得到,通常随观测时刻变化。

相机在基座系中的位姿为:

BTC(q)=BTE(q)ETC{}^{B}T_{C}(q)={}^{B}T_{E}(q){}^{E}T_{C}

因此,目标在基座系中的位姿为:

BTO(q)=BTE(q)ETCCTO{}^{B}T_{O}(q)={}^{B}T_{E}(q){}^{E}T_{C}{}^{C}T_{O}

例如,机械臂在两个姿态下观察桌面上的同一块静止标定板。虽然 BTE(q){}^{B}T_{E}(q) 和 CTO{}^{C}T_{O} 都发生变化,但理论上,两次计算得到的 BTO{}^{B}T_{O} 应当一致。

眼在手外:相机固定在机器人之外

眼在手外(Eye-to-Hand)是指相机固定在工作站支架、工作台或机器人外部的独立结构上。假设机器人基座与相机支架之间没有相对运动,那么相机在基座系中的位姿不受关节状态影响。

此时主要使用两个变换:

  • BTC{}^{B}T_{C}:基座到相机的固定外参,通过外部相机标定获得。
  • CTO{}^{C}T_{O}:视觉算法测得的目标相对于相机的位姿。

目标转换到基座系的公式为:

BTO=BTCCTO{}^{B}T_{O}={}^{B}T_{C}{}^{C}T_{O}

这里不需要把当前机器人法兰位姿插入计算链。只要相机、基座和目标均保持静止,机械臂运动不会改变求得的目标基座坐标。

但如果控制任务要求获得目标相对于当前法兰的位姿,就必须引入机器人正运动学:

ETO(q)=(BTE(q))−1BTCCTO{}^{E}T_{O}(q)=({}^{B}T_{E}(q))^{-1}{}^{B}T_{C}{}^{C}T_{O}

因此,眼在手外并不意味着所有计算都不需要关节状态。求目标的基座位姿不依赖当前关节角;求目标相对于当前法兰的位姿则依赖关节角。

对照两种安装方式的变换链

可以用相机与哪个坐标系保持刚性连接,快速判断固定外参应该放在哪里。

核对项目 眼在手上 眼在手外
相机固定于 末端法兰 E 工作站或基座 B
主要固定外参 ETC{}^{E}T_{C} BTC{}^{B}T_{C}
相机基座位姿 随 qq 变化 不随 qq 变化
基座目标计算 需要同步的法兰位姿 不需要当前法兰位姿
法兰相对目标计算 可由相机安装外参与当前观测得到 需要逆向引入法兰位姿

眼在手上与眼在手外的坐标变换链对比

看图时重点检查两件事:眼在手上的相机位姿必须经过法兰;眼在手外的目标基座位姿则可以直接由固定相机外参和视觉观测相乘得到。

用数值算例验证相机运动依赖

用二维 XY 平面中的刚体变换做一次计算,能够清楚观察矩阵连乘和旋转的作用。以下位置单位为米,角度采用逆时针为正,二维 3×33\times3 齐次矩阵用于演示平面运动;真实六轴机器人需要使用三维 4×44\times4 变换矩阵。

设眼在手上时,初始法兰位置为 (0.50,0.20)(0.50,0.20),朝向 90∘90^\circ;相机相对法兰沿局部 X 方向偏移 0.100.10 米,目标位于相机局部 X 正方向 0.200.20 米处。

眼在手外时,相机固定在 (0.20,0.10)(0.20,0.10),朝向为 0∘0^\circ,测得目标在相机系中的位置为 (0.30,0.40)(0.30,0.40)。两种配置实际观察的是同一个基座目标 (0.50,0.50)(0.50,0.50)。

下面代码可使用 Python 3 标准库直接运行,不需要安装第三方依赖。

python
from math import cos, sin, radians


def pose(x, y, yaw_deg):
    # 平面刚体位姿:旋转和平移一起写入齐次矩阵
    a = radians(yaw_deg)
    c, s = cos(a), sin(a)
    return [[c, -s, x], [s, c, y], [0, 0, 1]]


def mul(a, b):
    # 矩阵顺序与坐标变换链顺序保持一致
    return [[sum(a[i][k] * b[k][j] for k in range(3))
             for j in range(3)] for i in range(3)]


def xy(a):
    return (round(a[0][2], 3), round(a[1][2], 3))


# 眼在手上:基座 -> 法兰 -> 相机 -> 目标
base_ee = pose(0.5, 0.2, 90)
ee_cam = pose(0.1, 0, 0)
cam_obj_hand = pose(0.2, 0, 0)
base_cam_hand = mul(base_ee, ee_cam)
base_obj_hand = mul(base_cam_hand, cam_obj_hand)

# 眼在手外:基座 -> 固定相机 -> 目标
base_cam_fixed = pose(0.2, 0.1, 0)
cam_obj_fixed = pose(0.3, 0.4, 0)
base_obj_fixed = mul(base_cam_fixed, cam_obj_fixed)

# 只比较法兰变化对相机位置的影响,不复用旧视觉观测
base_ee_next = pose(0.6, 0.2, 90)
print("手上相机位置:", xy(base_cam_hand), "->", xy(mul(base_ee_next, ee_cam)))
print("手外相机位置:", xy(base_cam_fixed), "->", xy(base_cam_fixed))
print("两种安装的目标:", xy(base_obj_hand), xy(base_obj_fixed))

预期输出:

text
手上相机位置: (0.5, 0.3) -> (0.6, 0.3)
手外相机位置: (0.2, 0.1) -> (0.2, 0.1)
两种安装的目标: (0.5, 0.5) (0.5, 0.5)

这里有两个可以直接验证的现象:第一,法兰沿基座 X 方向移动 0.100.10 米时,眼在手上的相机也移动 0.100.10 米,而固定相机的位置不变;第二,两条不同的坐标变换链都能将相应的视觉测量转换为相同的基座目标位置。

注意眼在手上的旋转效果:法兰朝向为 90∘90^\circ,所以沿法兰局部 X 方向的 0.100.10 米安装偏置,会变成基座 Y 方向的 0.100.10 米偏移。如果忽略旋转而直接把平移向量相加,就会得到错误的相机位置。

在实际机器人上校验变换链

完成相机内参和手眼外参标定后,可以使用固定标定板执行以下检查。

  1. 统一坐标和单位。 检查机器人法兰坐标系、相机光学坐标系与视觉输出坐标系是否一致。特别注意相机光学轴方向、毫米与米的换算,以及矩阵是否需要求逆。
  2. 检查固定外参。 眼在手上确认 ETC{}^{E}T_{C} 不随关节变化;眼在手外确认 BTC{}^{B}T_{C} 不随关节变化。若相机支架松动或机器人基座相对工位移动,原先的固定外参需要重新检查。
  3. 采集多个姿态验证。 以覆盖不同位置和旋转方向的至少 5 个测试姿态观测同一静止标定板,分别计算 BTO{}^{B}T_{O}。例如可把最大位置偏差不超过 3 毫米、姿态偏差不超过 1∘1^\circ 设为某个教学实验的验收指标;实际项目应根据相机、机器人和工艺精度重新确定阈值。
  4. 检查时间同步。 眼在手上必须获取与相机曝光时刻对应的关节状态。对于运动中的目标,还需要让目标观测、机器人姿态和控制指令使用明确的时间基准。

如果眼在手上的目标坐标随机械臂运动呈规律性漂移,先检查 ETC{}^{E}T_{C} 的方向、法兰旋转是否正确参与矩阵连乘,再检查图像与关节状态的时间同步。如果眼在手外也出现相同现象,则优先检查相机支架、基座参考系和视觉测量本身,而不是无条件加入法兰变换。

最终应能清楚区分两类结果:眼在手上,相机的基座位姿由当前关节状态和安装外参共同决定;眼在手外,相机的基座位姿由固定外参决定,只有在进一步换算到当前法兰坐标系时,才需要引入机器人关节状态。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分眼在手上与眼在手外的变换链

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通