一种基于事件引导的生成式视频扩散模型的视频插帧方法

本发明涉及一种基于事件引导的生成式视频扩散模型的视频插帧方法，方法包括以下步骤：构建事件引导生成式视频扩散网络，所述事件引导生成式视频扩散网络包括条件生成器MMCG、预训练的VAE编码器/解码器、时空注意力条件U型网络Unet和导向型嵌入特征聚合模块GEA，条件生成器MMCG包括感兴趣区域ROI选择器、体素特征提取器VFE、多模态特征融合模块MMF和三维立体残差学习模块3DVR；采用两阶段训练策略：将视频数据和事件流数据输入引导生成式视频扩散模型，得到插值帧。与现有技术相比，本发明具有克服现有视频插帧技术在处理大幅度运动、复杂光照变化和低纹理区域时性能不佳等优点。