摘要
本发明公开了一种基于渲染数据的视频物体及其附带作用擦除方法,通过公开的数据库中的场景素材集合获取掩码编辑前后的场景视频和掩码视频,能够提供了大规模训练数据;采用基座扩散模型获取中间特征,通过掩码编辑前的场景视频和掩码编辑后的场景视频的像素取值,获取预测的差分掩码,并基于复合损失函数,对所述基座扩散模型进行训练;采用训练后的基座扩散模型获取需要进行对目标物体及其附带作用进行擦除的视频的中间特征,以获取擦除目标物体及其附带作用的视频。本发明提升了擦除模型对周围环境的感知能力,从而更好地生成与周围环境相契合的内容能够擦除物体的同时擦除物体产生的附带作用如阴影等,能够将环境副作用的不自然结果一并擦除。
技术关键词
视频
擦除方法
编辑
场景
物体
像素
基座
数据
索引
噪声
脚本
语义
批量
运动