一种基于交叉注意力机制的视觉-力反馈手术机器人状态编码方法、介质及系统

本发明涉及一种手术机器人，具体涉及一种基于交叉注意力机制的视觉‑力反馈手术机器人状态编码方法、介质及系统，方法包括如下步骤：获取图像信息并由图像信息中提取视觉信息的特征向量作为视觉特征输入；获取力反馈数据并由力反馈数据中提取里反馈信号的特征向量作为力反馈特征输入；通过交叉注意力机制对视觉特征输入与力反馈特征输入进行多模态融合生成综合特征向量；将综合特征向量输入至强化学习模型并输出控制手术机器人的指令。与现有技术相比，本发明解决现有技术中仅是将视觉信息与力反馈数据简单的叠加，而难以获得深入的信息。本方案通过引入交叉注意力机制，实现视觉信息和力反馈信息的深度融合，从而提高机器臂的控制精度和适应性。