基于意图估计和多模态的人机协作方法及相关装置

本发明属于人机协作技术领域，公开了一种基于意图估计和多模态的人机协作方法及相关装置，包括获取机器人的末端执行器历史轨迹数据、视觉采集数据、语言输入数据、机器人状态数据及末端力数据，得到控制影响数据；根据控制影响数据，基于预训练的人机协作控制模型，得到机器人的末端执行器位置数据和姿态数据。以预训练的人机协作控制模型为核心，结合多模态数据和意图估计来促进不同任务和场景中的自适应策略学习，在物理人机交互和远程人机交互下均具有较好控制效果。并且，针对意图估计在物理人机交互时考虑末端力数据，在远程人机交互时考虑视觉采集数据和语言输入数据，通过这些数据的整合实现精确意图估计，增强检测意图突然变化的能力。