基于深度感知融合的语音驱动人脸视频生成方法及装置

一种基于深度感知融合的语音驱动人脸视频生成方法及装置，涉及计算机视觉与图像处理领域，方法包括：S1，获取具有音频片段和参考图像的人脸说话视频数据集，对数据集进行预处理后，分为训练数据集和测试数据集；S2，构建人脸视频生成模型；包括音频编码器、图像编码器、深度编码器、交叉参考模块和跨模态注意力模块；S3，使用训练数据集合训练人脸视频生成模型，得到训练好的人脸视频生成模型；S4，将测试数据集输入训练好的人脸视频生成模型，输出生成的结合音频和视频的人脸视频。本发明通过在人脸视频生成模型中引入交叉参考模块和跨模态注意力模块，有效地在提高了人脸视频的面部结构准确度的同时兼顾了运动的细粒度细节。