一种实例级运动可控的视频生成方法、系统、介质及设备

本公开提供一种实例级运动可控的视频生成方法、系统、介质及设备，其中，方法包括：获取实例运动控制条件，实例运动控制条件包括实例布局信息和实例运动轨迹；对实例布局信息沿实例运动轨迹进行增广，确定经过增广的实例布局信息；将经过增广的实例布局信息输入引入帧间互注意力机制的预训练的定位图像扩散生成模型，生成候选关键帧；将候选关键帧输入引入帧间互注意力机制的预训练的视频扩散生成模型，确定第一运动视频；根据预训练的视频扩散生成模型的运动先验和预训练的图像扩散生成模型的细节先验对第一运动视频进行优化处理，确定目标运动视频。通过本公开，提高视频生成的运动控制能力，提高视频生成质量，实现实例级运动定制化视频生成。