摘要
本发明公开了一种模糊视频时空超分辨率方法、系统、设备及存储介质,它们是一一对应的方案,方案中:通过多模态特征提取模块提取事件流和视频的多尺度特征,并通过多模态数据特征注入模块得到用于注入扩散模型的事件流和视频的多尺度特征,最终通过双阶段三叉扩散模型来得到最终清晰视频帧的生成;上述方案中能有效利用事件相机去记录场景的高动态运动,并借助扩散模型强大的数据分布建模能力解决复杂的时空组合降质问题。所设计的三叉扩散模型能够充分提取和利用事件流数据和视频数据中的数据先验,从而有效地从模糊视频中重建出高时间分辨率和高空间分辨率的清晰视频,达到最优的视觉效果。
技术关键词
多尺度特征
超分辨率网络
超分辨率方法
多模态
数据特征提取
视频帧
双模态
运动噪声
模块
信号处理
阶段
事件流数据
序列
动态
系统为您推荐了相关专利信息
断层图像数据
焊接检测方法
相控阵探头
坐标系
激光扫描仪
高清摄像头模组
大语言模型
智能诊断终端
语音机器人
多模态
检测缺陷
图像特征信息
模态特征
文本编码器
图像编码器
预警判断方法
微观结构特征
润滑油
关键结构参数
分子量分布宽度