一种基于跨模态注意力引导的非刚性三维编辑方法及系统

本发明公开了一种基于跨模态注意力引导的非刚性三维编辑方法及系统。首先使用原始高斯溅射模型和若干不同的视角，渲染出原始帧，生成原始图像数据；接着使用二维扩散模型进行首轮编辑，挑选出一张最符合预期的图片，作为引导帧；之后使用单图像三维生成方法生成反渲染基底模型；接着使用生成的三维模型对针对原始帧的二次编辑过程中产生的若干跨模态注意力图进行反向渲染和正向渲染来优化多视图的编辑一致性；最后使用二次编辑所产生的最终编辑帧对原始高斯溅射模型进行优化，得到编辑后的高斯溅射模型。本发明通过使用更加符合编辑目标的跨模态注意力图反渲染基底模型，提高了跨模态注意力引导机制在非刚性编辑任务下的效果。