基于实体和位置关系的轨迹引导视频生成方法及装置

本发明提出一种基于实体和位置关系的轨迹引导视频生成方法和装置，包括：获取待编辑的视频帧及其对应的运动轨迹，视频帧中包括多个实体；提取步骤，以每个实体为中心建立极坐标系，通过将相邻实体边界框的四维向量转换为极坐标向量，得到实体间的相对位置，结合相对位置和视频帧的实体语义信息，得到视频帧的图像特征；初始化零矩阵，根据运动轨迹的轨迹序列点嵌入图像特征，得到实体表示；将实体表示和运动轨迹输入编码器，得到编码结果，将编码结果与高斯噪声相叠加后输入去噪扩散模型，获得多个不同分辨率的特征作为潜在条件信号，最后通过解码器对潜在条件信号进行解码，得到重构视频，作为视频帧在运动轨迹下的视频生成结果。