一种基于交叉自注意力与特征归纳的多模态融合方法

一种基于交叉自注意力与特征归纳的多模态融合方法，包括以下步骤：获取道路目标的LiDAR特征数据与图像特征数据，并对LiDAR特征数据进行预处理；将预处理后的LiDAR特征数据与图像特征数据并行输入预先训练的融合网络模型，获得道路目标检测结果；融合网络模型包括：多模态特征交互处理、全局特征学习处理和特征归纳处理，多模态特征交互处理通过跨模态注意力机制加强特征交互，弥合语义差异；全局特征学习处理利用自注意力机制对融合特征进行全局感知和重映射，增强全局语义特征学习，特征归纳引入归纳偏置，加速Transformer架构收敛，通过三责协同工作，网络能更好地捕捉模态间的深层次交互，增强特征关联，并对融合特征进行全局学习，从而提升模型的语义推理能力。