基于多模态正则化和温度平滑约束的三维场景重建方法

本发明公开了基于多模态正则化和温度平滑约束的三维场景重建方法，属于计算机视觉技术领域。该方法首先对同一三维场景相同视角下的彩色‑温度图像对进行配准，然后通过混合或轮廓线叠加的方式生成增强的图像。对增强的图像进行运动构造，生成点云与相机位姿。再创建两个独立的高斯模型，输入点云数据和相机位姿，分别渲染得到温度图像和彩色图像。为温度模态和彩色模态的高斯模型设置损失函数，在温度模态的损失函数中引入平滑项。设置一个正则化系数，将温度模态和彩色模态的损失函数联立起来。利用总损失函数计算整体损失和梯度，并反向传播，通过自适应密度控制对模型的各项参数进行优化。最后使用训练后的模型完成三维场景的重建。