一种基于多模态融合的3D场景理解与交互方法及装置

本发明公开了一种基于多模态融合的3D场景理解与交互方法及装置，包括如下步骤：数据输入与预处理、基于空间的自注意力机制处理、多视图跨模态融合、输出与交互。本发明的有益效果是：1.通用性提升：通过端到端（End‑to‑End）的多任务调优框架，本模型能够同时处理多种任务，无需单独微调；2.空间理解能力增强：3D‑ISR模块显著提升了模型对复杂场景中的物体空间关系的感知能力；3.融合效果优化：MCMF模块在特征层面实现了3D几何和2D语义特征的高效融合。