一种基于多模态协同优化的隐式图像增强与光流估计方法

本发明公开了一种基于多模态协同优化的隐式图像增强与光流估计方法。该方法首先获取正常光照场景下的RGB图像以及对应视角的深度图；根据深度图和相机内参计算对应的三维点云数据。利用正常光照场景下的RGB图像合成低光照图像数据。利用高低频特征增强网络分解低光照图像的高频特征与低频特征，用于对低光照图像进行增强，然后提取低光照图像的图像特征和上下文特征；利用2D‑3D特征融合网络提取2D图像特征与3D点云特征并进行对齐融合，得到正常RGB图像的图像特征和上下文特征，用于监督高低频特征增强网络的特征提取过程。最后基于低光照图像的图像特征和上下文特征，构建4D相关体积表，并利用GRU推理光流。