一种基于神经网络的XR头显视频透视方法及系统

本发明涉及一种基于神经网络的XR头显视频透视方法及系统，属于图像处理技术领域，解决了现有视频透视无法实时重建高质量图像的问题。包括获取XR头显的外置双目相机实时采集的双目图像，经预处理后，通过计算视差图获取左相机深度图和右相机深度图；根据预处理后的双目图像、左相机深度图和右相机深度图，获取带颜色的点云数据；对带颜色的点云数据进行左右人眼图像投影和网格化分配，获取左人眼合成图像和右人眼合成图像，进而传入视图优化模型中，输出左人眼优化图像和右人眼优化图像；视图优化模型是改进的轻量级的条件对抗生成神经网络；渲染左人眼优化图像和右人眼优化图像并输出至XR头显的显示终端。实现了实时重建高质量图像。