基于多模态信息交互人脸合成方法、装置及设备

本公开涉及一种基于多模态信息交互的人脸合成方法，涉及视频处理技术领域。该基于多模态信息交互的人脸合成方法包括：接收音频片段和音频片段分别对应的人脸图像；基于音频片段的频率信息，提取音频片段对应的音频时序特征，以及通过机器学习算法从音频片段中提取音频语义特征；通过双向交叉注意力算法融合音频时序特征和音频语义特征，得到音序语义特征；通过深度学习算法提取人脸图像对应的面部特征，将面部特征和音频语义特征对齐，得到面音语义特征；融合音序语义特征和面音语义特征，得到联合特征，对联合特征进行解码和重构，将联合特征转换为目标语音视频。实施本公开提供的方法，可以提高视频帧与音频之间的同步性。