一种融合事件和RGB数据的自适应插帧方法

本发明涉及一种融合事件和RGB数据的自适应插帧方法，包括获取相邻两个关键帧以及两个关键帧中间对应的事件流；划分事件流，将划分之后的事件流表示成体素网格；利用多尺度卷积神经网络对关键帧和事件流进行特征提取和融合，得到多模态特征；基于体素网格进行光流估计，输出光流场；基于多模态特征和光流场生成预测帧；对预测帧进行残差分析，调整光流场，再次生成修正预测帧；对预测帧和修正预测帧采用自适应权重融合策略生成中间帧；应用时空一致性损失函数对中间帧进行优化。本发明解决了传统视频插帧方法在处理高动态场景时运动模糊的局限性，显著提升了插帧效果，适用于自动驾驶和机器人视觉等需要处理高动态场景的应用领域。