一种基于扩散模型的视频生成方法

本发明提供了一种基于扩散模型的视频生成方法，基于虚拟引擎物理数据生成模块进行物理场景模拟，生成物理场景数据输入多模态物理表征学习模块进行物理一致性预训练，得到联合物理表征向量、预训练后的扩散模型和预训练损失值输入物理强化学习框架对预训练后的扩散模型进行训练，得到训练后的扩散模型，并将物理场景数据输入训练后的扩散模型进行视频生成，得到与物理场景数据中的物理文本描述对应的视频输入物理一致性评估模块进行评估，得到评估结果输入物理强化学习框架对扩散模型进行更新，得到物理一致性视频生成模型；将目标文本数据输入物理一致性视频生成模型进行视频生成，得到与目标文本数据对应的视频，提升了视频生成的物理一致性。