多模态人脸活体检测方法、装置、电子设备及介质

本发明提供了一种多模态人脸活体检测方法，其包括：构建模态统一嵌入预处理模块，对接收到的人脸可见光图像、深度图像和红外图像进行尺寸对齐与图像增强处理，获得各种图像的特征向量；通过跨层融合视觉Transformer模块，对特征向量进行深层次表达学习，获得三个模态的特征矩阵；基于特征矩阵构建动态加权特征融合模块，引入可学习的模态感知权重，计算每一个模态对应的权重特征，经过归一化实现统一尺度调整，并进行融合，获得多模态融合特征；根据所述融合特征对人脸进行分类，获得真实和虚假人脸分类。本发明能有效地融合不同模态的信息并有效地提取真假人脸图像中的细节线索，解决了目前多模态人脸活体检测方案准确率低，泛化性能较差等问题。