一种于多尺度空洞注意力的自学习多模态情绪识别方法

本发明提供一种于多尺度空洞注意力的自学习多模态情绪识别方法，解决了面部各个基本动作单元重要性不同、关键动作单元之间距离不同导致识别精度不高的问题，以及决策级融合时各个模态置信度不同的问题。步骤为：预处理面部表情图像，输入多尺度空洞注意力卷积模块，其通过并行三分支卷积结构提取特征，拼接特征后经注意力机制校准，得增强特征图送全连接层识别情绪；原始脑电信号输入时频空三维特征提取网络，分解信号并计算微分熵特征，经含频谱、空间、时间注意力模块的全局注意力模块处理，输出时频空多维特征表示并由全连接层识别情绪；最后将面部表情与脑电信号的情绪识别结果输入自学习权重模块，通过动态加权融合得出最终情绪识别结果。