一种多模态数据融合的实时语义分割与目标检测联合模型

本发明涉及多模态计算机视觉领域，具体为一种多模态数据融合的实时语义分割与目标检测联合模型。该模型通过以下技术手段实现：基于RGB图像、深度信息及激光雷达数据，设计多分支网络分别提取不同模态特征；引入动态模态选择模块，根据环境条件自动选择最优的模态组合，提升模型在复杂场景下的自适应能力；利用UAFM特征融合模块实现跨模态信息互补；通过逐级解码结构，逐步融合多尺度特征以平衡细节与全局语义信息；采用联合训练机制，同步输出语义分割结果和目标检测框，减少计算冗余。本发明在多模态数据支持下显著提升复杂场景下的分割与检测精度；通过动态模态选择与特征共享，实现高效实时处理，推理速度较独立模型提升30％以上。