一种基于视觉-力觉的机械臂指令抓取方法

本发明属于机械臂抓取技术领域，公开一种基于视觉‑力觉的机械臂指令抓取方法，包括以下步骤：获取场景的RGB‑D图像，通过OpenCV对RGB‑D图像进行切割处理，并提取RGB‑D图像中每个物体的视觉特征；通过BERT对用户输入的文本命令进行编码，并输出语言特征；将语言特征和视觉特征输入CLIP模型中融合对齐，再采用Co‑TRM结构进行进一步对齐，生成双模态特征；根据RGB‑D图像的深度图生成点云图像，基于点云图像，结合物体的视觉特征，通过Graspnet生成抓取姿态；解决了现有技术中基于视觉和指令进行抓取时存在着不便于对抓取力进行自适应调整的问题。