摘要
本发明涉及一种基于动态提示学习的多模态人脸表情识别方法,属于计算机视觉中图像和点云处理技术领域,解决了现有技术中模型视角适应范围受限,异质模态特征协同效率低下的问题,包括:S1:准备图像和点云表情识别数据集;S2:构建多模态表情识别模型,包括图像分支、点云分支、跨模态提示融合模块和全连接层;S3:建立双级别监督机制训练多模态表情识别模型,得到训练好的多模态表情识别模型,双级别监督机制包括计算聚类级别的特征距离损失和样本级别的预测分类损失;S4:将待识别的人脸图像数据和点云数据输入训练好的多模态表情识别模型进行人脸表情识别,得到表情识别结果。
技术关键词
人脸表情识别方法
分支
标记
点云
样本
跨模态
人脸图像数据
多模态
适配器
分块
动态
类间区分度
纹理特征
聚类
原始图像数据
索引
代表