基于深度学习的多模态人脸识别方法及系统

本发明属于人脸识别的技术领域，具体是基于深度学习的多模态人脸识别方法及系统，使用不同模态的传感器对目标进行实时采集，对采集到的图像进行去噪、灰度化、图像裁剪以及对齐处理；使用卷积神经网络提取RGB图像中的特征，使用CNN结构从红外图像中提取热图特征；将不同模态的数据在网络的输入层进行融合，合并为一个多模态输入进行特征提取，各模态独立提取特征后，拼接或加权求和将它们合并，再通过全连接层进行分类；使用深度神经网络进行训练，从融合后的多模态特征中学习深层次的语义信息，根据任务目标选择合适的损失函数，根据数据集进行微调优化；采用全连接层或SVM进行最终的类别预测，输出人脸识别结果,具有高效识别人脸的效果。