一种多模态融合的人员意图识别方法、系统、设备及介质

本发明提供了一种多模态融合的人员意图识别方法、系统、设备及介质，属于人机协作和智能制造技术领域。该方法包括：在人机协作场景下，通过视觉传感器采集操作人员的RGB视频数据，通过惯性传感器采集惯性传感数据，作为操作人员的意图数据；对操作人员的意图数据进行数据选取，经过预处理后，生成训练集和测试集；基于决策级融合策略或特征级融合策略，构建RGB视频和惯性传感模态融合的人员意图识别模型，并利用动作样本训练集训练所述人员意图识别模型；将动作样本测试集输入所述人员意图识别模型进行人员意图识别，得到人员意图识别结果。本发明利用决策级融合和特征级融合策略，融合了两种模态数据的优势，提升了人员意图识别准确性。