一种基于LED的沉浸式虚拟环境系统和方法

本申请公开了一种基于LED的沉浸式虚拟环境系统和方法，该系统包括：数据获取模块、沉浸式数据处理模块和沉浸式交互模块；沉浸式数据处理模块包括基于LED屏幕的CAVE系统；数据获取模块获取目标场景的多模态数据，多模态数据包括二维全景视频、三维点云数据以及传感器数据；沉浸式数据处理模块将多模态数据进行数据融合以及时空一致性同步，得到多视角沉浸式场景；将多视角沉浸式场景渲染至基于LED屏幕的CAVE系统中；沉浸式交互模块在用户行走过程中，通过ZED 2i单目RGBD相机捕捉用户的头部位置；基于头部位置，动态渲染CAVE系统的场景。因此，采用本申请实施例，可支持多模态内容的融合展示，能给用户提供自然交互体验，并降低了系统的部署成本。