一种图生视频方法和装置

本发明实施例公开了一种图生视频方法和装置。本发明实施例将包含目标对象的源图像输入第一视频生成模型得到素材视频，根据素材视频确定帧间变换矩阵序列，然后从源图像中得到目标对象对应的对象掩码图像，将帧间变换矩阵序列应用于对象掩码图像可得到多张掩码图像从而组成掩码图像序列，将帧间变换矩阵序列应用于源图像可得到多张目标对象图像从而组成目标对象图像序列，根据源图像、掩码图像序列和目标对象图像序列确定目标输入数据，将目标输入数据输入支持局部重绘的第二视频生成模型，得到对应的目标视频。通过两次模型生成视频，实现了智能化端到端的图生视频，无需引入预设运动参数即可在保持目标对象不扩散的同时，实现运动轨迹多样性。