一种认知驱动的渐进对齐模态自适应的多模态情感识别方法及系统

本发明公开了一种认知驱动的渐进对齐模态自适应的多模态情感识别方法及系统；该方法包括建立包括自适应渐进式自注意力分类模块和渐进式对齐范式模块的多模态情感识别模型；多模态特征在自适应渐进式自注意力分类模块中经过两层跨模态注意力单元和一层自适应特征加权融合单元后输出至分类器。两层跨模态注意力单元输出的特征各自经过自适应特征加权融合单元获得融合特征；所得的两个融合特征和分类器输出的分类结果在渐进式对齐范式模块中，通过三级渐进语义对齐机制优化多模态情感识别模型。本发明提出自适应特征融合与层次化语义对齐的协同架构，显著提升多模态情感识别的鲁棒性和准确性。