一种基于多模态融合的缺失信息补充建模方法

本申请涉及一种基于多模态融合的缺失信息补充建模方法，利用色彩分量对RGB图像进行编码，得到第一特征；利用空间位置编码对点云图像进行编码，得到第二特征；对齐第一特征与第二特征的特征空间，并进行特征融合，得到联合特征；基于联合特征进行图像重构，得到重构RGB图像；对点云图像和重构RGB图像分别进行频域变换，并分解出色彩高频特征、色彩低频特征、点云高频特征、点云低频特征；将色彩高频特征和点云高频特征作为源域，将色彩低频特征和点云低频特征作为目标域，将源域与目标域对齐并融合，得到点云补充特征；对点云补充特征进行局部几何与颜色特征提取以及三维表面重建，组合提取出的特征以及重建的三维表面，得到三维模型。