一种基于事件相机重建参考的多模态视频插帧方法

本发明公开了一种基于事件相机重建参考的多模态视频插帧方法，首先通过事件生成模型从高速视频中生成事件流并与帧在时间尺度上对齐，保证训练过程中能够在任意时刻进行视频内插帧。事件流被处理为体素以及事件关注掩码，体素被输入参考帧重建网络生成参考帧。经过事件关注掩码策略处理的参考帧和视频帧一起输入基于参考帧的合成网络进行双向对齐，从而合成粗插入帧。最后将粗插入帧、事件体素以及两个视频关键帧一起被输入插入帧细化网络来生成清晰的插入帧。本发明利用基于事件的参考直接合成中间帧，避免了显式运动估计的必要性，从而大大增强了处理运动遮挡的能力。