基于三模态的双目人脸活体检测方法、介质及设备

本发明提供了一种基于三模态的双目人脸活体检测方法、介质及设备；方法为：获取双目摄像头的RGB图像和红外图像，并生成深度图；将三种模态图像输入到人脸活体检测模型中；人脸活体检测模型包括ViT模型和互信息模块；三种模态图像分别经过层归一化模块一和多头自我注意模块处理后，将两个模态特征组成模态对输入到互信息模块中；将模态对的输入特征进行拼接、卷积和激活，进行重新加权，再与交互特征进行拼接和卷积；进行整合后得到模型输出，从而得到人脸活体检测结果。该方法最大化不同模态之间互信息的方法来实现自适应地增强有利模态和抑制不利模态，挖掘出更为有效分类特征，改善人脸欺诈检测方法的分类准确率及泛化性能。