基于多模态融合和光线追踪的加速器模拟培训空间搭建方法

本发明提出了一种基于多模态融合和光线追踪的加速器模拟培训空间搭建方法，实现步骤为：获取虚拟空间搭建资源；构建3D虚拟空间；采用交互式全景光线追踪方法对3D虚拟空间进行渲染；基于多模态融合模型对用户在渲染后3D虚拟空间中与虚拟对象交互的意向识别。本发明采用交互式全景光线追踪方法为每个像素生成追踪权重，依据追踪权重进行跟踪，通过光线追踪和插值算法估算辐照度，考虑真实空间中的环境的照明、几何和材料信息计算虚实融合的最终图像并渲染虚拟空间，提高了虚拟空间的真实性；通过多模态融合模型对传感器通道、场景视觉通道和语音通道的信息进行集成以获取最终用户意图，通过提高意图识别的准确度提高了响应的准确度。