一种基于多模态协同优化的情感识别方法

本发明公开了一种基于多模态协同优化的情感识别方法，构建融合脑电和人脸的情感识别网络。对于脑电模态，基于脑电大模型，结合时序卷积、时空嵌入及前缀向量与适配器混合微调，获得高质量脑电表征。对于人脸模态，构建AU与非AU双特征流，通过时序卷积、自注意力及双向跨特征流注意力实现情感线索与上下文的深度交互。在单模态交替迭代训练阶段，引入多模态互补约束与记忆巩固正则项，进一步促进多模态协同优化效果。在多模态融合阶段，各模态特征经适配器映射至相同维度的空间，并与类别token一同输入多模态Transformer，实现脑电与人脸的深度融合，生成多模态融合特征进行情感识别。本发明能够促进多模态协同优化，显著提升情感识别的精准度与鲁棒性。