一种AI驱动的多模态协同感知交互系统及混合现实终端

本发明涉及一种AI驱动的多模态协同感知交互系统及混合现实终端，包括：多模态感知模块：用于获取无人机搭载的多个传感器、摄像头和语音输入设备所采集的内容，构建信息模态网络，覆盖传感器采集的物理信息和摄像头和语言输入设备获取的数字化信息。本发明通过Unity的URP渲染管线优化视觉效果，确保点云和标记的实时渲染性能，整个系统采用分层架构，各模块间通过标准化接口进行数据交互，保证系统的可扩展性和维护性，快速构建灾区场景三维全场景动态模型，为决策提供全景立体环境观测与多种数据支持，解决了传统救援中信息扁平化、操作门槛高、定位模糊等痛点，为坍塌物下的救援提供了一体化智能解决方案。