一种多模态人像视频编辑方法、电子设备以及存储介质

本发明提供了一种多模态人像视频编辑方法，可以应用于视频编辑技术领域。该方法包括：给定人像视频，预处理得到相机参数，人体身份、表情、姿态系数、人体语义分割图和二维人像遮罩；基于神经高斯纹理机制，将可学习的三维高斯特征嵌入到参数化人体几何表面上，使用神经渲染器将三维高斯泼溅特征图转化为图像，通过视频的RGB和分割图信息，优化重建三维人像；使用迭代数据集更新技术，将多模态二维图像生成模型的知识蒸馏到三维人像编辑中，使用表情相似性引导和面部感知人像编辑模型，提升了编辑质量。该方法将二维编辑任务提升至三维，具有良好的三维一致性和时域一致性。通过多模态生成模型的知识，可以实现高质量人像视频编辑功能。