一种基于时空关联的多模态数据融合感知方法及系统

本发明公开了一种基于时空关联的多模态数据融合感知方法及系统，图像数据首先进入图像去噪模块，去除噪声后输入特征提取模块。LiDAR点云数据经过校准生成深度图，进入LiDAR分支的特征提取模块。提取后的图像特征和LiDAR特征在特征融合匹配模块中进行多模态特征的融合和匹配。通过查询初始化模块，系统在鸟瞰图空间中生成一组查询点，附带空间位置信息，通过自适应注意力机制处理融合后的特征，以确保对不同尺度目标的精确检测。融合后的多模态特征通过时空采样与混合模块进行时序上的采样与对齐，最终为检测与分割提供高精度输入。本发明通过将多模态数据与时空关联策略结合，显著提升复杂场景中的3D目标检测与分割精度。