一种基于多模态融合的微表情识别方法

本发明公开了一种基于多模态融合的微表情识别方法，涉及智能化的微表情识别，包括从微表情数据库中获取模型的输入数据、对每个输入数据使用ViT和卷积神经网络CNN进行特征提取，得到特征向量Va和特征向量Vf，对特征向量Va和特征向量Vf进行相似度量，得到输出特征。通过融合峰值帧、光流图和关键点分类微表情数据，利用不同模态的数据特征，解决了现有技术中对微表情数据利用不足的问题；针对不同模态的数据，采用网络架构：Vision Transformer(ViT)用于提取峰值帧的全局特征，卷积神经网络（CNN）用于提取光流图的局部特征，融合后的特征通过对比损失和分类损失进行优化，提高了同一表情样本特征的相似性，增强了识别的准确性和鲁棒性。