一种自适应多模态互补意图理解方法、系统及设备

本发明公开了一种自适应多模态互补意图理解方法、系统及设备，主要涉及多模态互补意图理解技术领域。包括以下步骤：实时获取人机交互过程中手势特征向量序列，并对手势特征向量序列进行处理；实时获取连续的音频流，并分割成基于语音中的停顿或固定的时间窗口；搭建实验环境，并从实验环境中获取实时图像作为其中模态之一；根据获取的手势模态、语音模态以及图像模态，构建知识图谱；针对语音模态和图像模态采用基于知识图谱的互补注意机制进行多模态意图融合提取；使用混合专家模型，进行多模态意图融合。本发明的有益效果在于：它提高了意图理解的准确性，还通过在机器人与其老年用户之间创建更直观、反应更迅速的交互流程，丰富了互动体验。