一种基于多模态的动态面部表情识别方法

本发明涉及一种基于多模态的动态面部表情识别方法，包括：获取初始视频样本，根据初始视频样本，获取图像样本序列；将图像样本序列，输入动态面部表情识别模型，从图像样本序列中提取面部表情特征序列，获取面部表情类嵌入的特征向量，根据面部表情类的嵌入特征向量匹配文本描述，获取文本特征向量；将面部表情特征序列和文本特征向量进行相似度计算，获取初始视频样本的面部表情识别结果，其中，动态面部表情识别模型基于CLIP模型构建，并基于训练集训练获得，训练集包括历史图像样本序列及对应的面部表情。本发明分析视觉“类”与文本描述的上下文联系，最终通过相似度计算完成动态面部表情的识别，提高了训练速度和面部表情的预测精度。