多模态说话人鉴伪模型的训练方法及电子设备

本申请公开多模态说话人鉴伪模型的训练方法及电子设备，涉及说话人鉴伪领域，该方法包括：获取对应给定说话人的音视频序列样本；对音视频序列样本中顺序的各个音频帧分别进行唇部特征编码，以确定相应的音频样本唇部潜在向量序列；对音视频序列样本中顺序的各个视频帧中的说话人嘴部区域分别进行特征编码，以确定相应的视频样本唇部潜在向量序列；计算音频样本唇部潜在向量序列与视频样本唇部潜在向量序列所对应的音视频序列相似度；根据音视频序列相似度和音视频说话人对齐标签，对说话人鉴伪模型进行训练。由此，通过潜在向量将说话音频和待检测人唇形图契合成同一维度向量的相似度比较，能更有效提高鉴伪结果的准确率。