一种基于不确定性感知的多模态信息融合的情感识别方法及系统

本发明公开了一种基于不确定性感知的多模态信息融合的情感识别方法及系统；该方法如下：分别对每个模态的特征建模生成高斯分布表示。建立跨模态分布注意力机制；对于每个模态的高斯分布表示，均先后与其余各模态的高斯分布表示进行语义关联，得到跨模态关联分布。对语义关联得到的多个跨模态关联分布进行加权融合，生成融合分布。对融合分布进行采样，得到特征嵌入。本发明通过不确定性分布建模模块动态量化每个模态的不确定性，并利用跨模态分布注意力机制捕捉模态间的语义关联。最终，通过跨模态关联分布融合模块将关联后的模态分布整合，融合后的跨模态关联分布具有更小的方差和更稳健的性能，这是现有技术中的重要突破。