一种面向集群机器人控制的多模态交互方法和系统

本发明属于机器人交互技术领域，具体涉及一种面向集群机器人控制的多模态交互方法和系统。首先获取操作者的眼动数据，从中提取操作者的眼动特征，将提取的眼动特征输入至训练好的意图识别模型，得到操作者对集群机器人的决策意图；根据得到的决策意图生成机器人的控制指令，使机器人执行该控制指令；然后在机器人执行所述控制指令过程中，获取操作者的手部图像，检测手部图像中手部的关键点位置，根据检测出的关键点位置识别操作者的手势，根据识别出的手势所代表的手势命令调整控制指令，使机器人执行调整后的控制指令。本发明不仅保留了眼动控制的直观性和简便性，还充分利用了手势的精确性与高效性，使得操作者可以更高效地执行复杂任务。