手眼标定开始首先控制机器人采集不同姿态下的标定数据共采集29 组训练姿态和8 组验证姿态采用 OpenCVcalibrateHandEye方法进行初始求解并进一步加入MADMedian Absolute Deviation异常值剔除方法减少错误数据影响基于 SE(3) 李群空间的非线性优化对旋转和平移参数进行进一步精修。实现目标像素坐标 ↓ 结合深度信息 ↓ 转换为相机坐标系3D位置 ↓ 通过手眼标定矩阵转换 ↓ 得到机器人 base 坐标系下目标位置在调试过程中发现并修复了多个影响标定精度的问题优化残差计算错误原程序中残差计算错误导致优化过程中残差始终接近全局平均值无法有效优化参数。修改后采用真实位姿误差作为优化目标提高优化有效性。优化算法兼容问题发现 LM 优化方法不支持soft_l1鲁棒损失函数因此调整为trf优化方法使优化过程能够结合异常值抑制。Charuco 标定板检测问题原程序中角点数量限制过低4个导致部分情况下solvePnP求解失败。手眼标定实验结果经过标定优化后获得头部相机到机器人坐标系之间的转换关系相机坐标系camera_head_link → camera_left最终结果平移误差x -7.8 mm y 13.0 mm z 14.6 mm姿态误差roll 0.42° pitch 0.73° yaw -2.35°标定精度评价结果训练数据平均位置误差3.74 mm姿态误差0.41°验证数据采用8组未参与求解的新姿态进行测试其中包含头部 yaw ±40° 的大角度旋转位置误差8.8 mm姿态误差0.34°相比机器人 URDF 中原始相机位置估计误差约687 mm优化后精度提升约80倍。端到端抓取链路验证进一步测试完整视觉定位流程相机检测目标 ↓ RGB-D获取深度 ↓ 生成相机坐标系3D点 ↓ 手眼标定转换 ↓ 机器人base坐标系目标位置选取3组新的机器人姿态进行测试结果11.4 mm12.9 mm15.4 mm均小于2 cm误差要求证明当前视觉坐标转换链路能够满足机器人抓取任务需求。以上代码均为ai实现自己提供思路 然后ai执行规划
)
