一种基于扩散模型的短剧人物视频翻译方法

本发明公开了一种基于扩散模型的短剧人物视频翻译方法，包括以下步骤：首先将视频帧中的图片按固定尺寸进行切分，并与原始图像一起组成一个批次送入人脸检测模型进行检测；通过GPEN模型捕捉源人脸的细节特征，并对源人脸的细节特征进行增强；通过CRNet增强目标图像的亮度和对比度；通过解耦网络对源人脸的细节特征进行有效分离；将音频信号输入AudioNet网络转换成降噪后的特征表示；通过多模态的融合机制将换脸与口型对齐任务联合起来，进行端到端的训练。本发明提出了一套完整的处理流程，涵盖从人脸检测到图像增强、身份信息提取、音频特征处理以及最终的换脸和口型对齐模型训练，确保在多模态输入下生成自然流畅的视频翻译效果。