一种基于CLIP的多模态动态面部表情识别方法

本发明公开了一种基于CLIP的多模态动态面部表情识别方法，包括以下步骤：构建标签增强模块，生成积极‑消极文本监督，得到积极文本特征和消极文本特征；构建多模态数据挖掘模块，从视频中挖掘不同层次特征信息；使用自适应融合策略，完成人脸表情特征、音频特征、细粒度文本描述特征的融合，得到融合后的特征表示；将融合后的特征表示与积极文本特征、消极文本特征进行余弦相似度计算，得到最终的情绪分类。本发明引入类标签增强，将类标签转换为积极‑消极文本监督，通过P‑N描述符进行标签增强，这样能够区分原本难以区分的模糊类别；利用CLIP的对比学习机制，最大化正确图像‑文本对之间的相似性，从而提升分类和检索的精度。