基于几何外观解耦多球面图像的全景图像新视点合成方法

本发明公开了基于几何外观解耦多球面图像的全景图像新视点合成方法。本发明首先对训练数据集进行数据增强，将输入全景图像与对应尺寸的球面坐标编码进行拼接，输出不同尺寸的拼接结果，将拼接结果输入到金字塔编码器，提取多尺度特征，输入到外观预测网络，解码得到颜色层和可见性掩膜；将最后一个多尺度特征与可见性掩码作为外观特征解码器的输入，预测每层对应的alpha层，由此得到完整的多球面图像表示；在目标视点的位置进行采样，渲染目标视点的全景图像，得到目标视点全景图像的预测图像，通过损失函数训练多球面图像生成网络。本发明减少了网络输出通道数，提高了渲染质量，实现了高质量且泛化能力强的多球面图像的生成。