一种融合视触觉和掌上眼的多模态灵巧手及其应用

本发明属于机器人技术领域，并具体公开了一种融合视触觉和掌上眼的多模态灵巧手及其应用，其包括手主体、视触觉传感器、掌上眼模块和处理器，视触觉传感器包括骨架、弹性体、RGB和NIR相机，骨架为指形结构，骨架与手主体形成手结构；弹性体覆盖在骨架外侧，弹性体表面覆盖漫反射涂层；RGB和NIR相机安装在骨架内，获取第一物体与弹性体接触时的RGB图像和NIR图像；掌上眼模块安装在手主体中部，掌上眼模块包括第二RGB相机和TOF相机，取第二物体RGB图像和稀疏深度；处理器确定第一物体表面三维点云和第二物体深度图，实现两者位姿对齐。本发明可实现触觉‑视觉‑深度的多模态感知，提高机械手精度和鲁棒性。