一种基于跨模态对比学习和多尺度表征的脑电及同步生理信号情绪识别方法

本发明涉及情绪识别技术领域，公开了一种基于跨模态对比学习和多尺度表征的脑电及同步生理信号情绪识别方法，预训练阶段将不同模态的生理信号，通过对应模态的编码器提取特征，学习与情感刺激相关的模态表征，再将这些模态表征通过映射层映射到潜在的空间计算相似度，进而计算各个模态的对比损失，进行模态内对比学习；编码器提取的基于各模态的表征进行跨模态的对比学习，将不同模态的表征对齐到共享的潜在空间；本发明还在每个模态中利用短期和长期的情绪变化，以不同的时间尺度预训练出编码器；在微调阶段，利用预训练的编码器、初始化的模态融合模块和分类器进行情感识别训练，基于生理信号的情感标签优化模型权重。