一种自适应多专家协同多模态情感识别方法及相关设备

本发明公开了一种自适应多专家协同多模态情感识别方法及相关设备，其中系统包括：特征提取模块，用于提取情感中图像、语音和文字三个模态的初级特征表示；不确定性感知的自适应专家分配机制模块，用于量化每个模态的不确定性水平，并获取每个模态特征的稳定表示；可靠性层级情感解码模块，用于实现基于不确定性的自适应模态融合，以可靠性优先级依次融合多模态特征；情感强度预测模块，使用一个多层感知机对情感进行强度预测。本发明通过挖掘情绪模态样本中的不确定性并进行量化，实现了基于不确定性驱动的自适应多专家协同多模态情感识别；结合不确定性提取更稳定的情感特征表示和提出更高效的多模态融合策略，提升了多模态情感识别的准确度。