摘要
本申请涉及一种基于多模态大模型的人脸活体识别方法和系统,其中,该方法包括:通过第一多模态大模型对获取的无标签数据进行标注,得到自动标注数据;获取活体标注数据,并将活体标注数据和自动标注数据作为包含视觉编码器和文本编码器的第二多模态大模型的训练数据;基于训练数据和文本编码器,通过损失函数对视觉编码器的网络参数进行训练调整;最后自适应部署训练好的第二多模态大模型以进行人脸活体识别。通过本申请,实现了基于多模态大模型的无标签数据打标,有效降低数据的采集成本,基于文本特征和视觉特征的多模态模型训练,增强了模型的表征能力,进而提高活体识别的可靠性,解决了如何进行安全可靠的人脸活体识别的问题。
技术关键词
局部视觉特征
多模态
文本编码器
人脸活体识别方法
全局视觉特征
模型训练模块
网络
参数
无标签数据
分支
识别系统
图像