一种基于前景感知增强的多模态目标检测系统及检测方法

本发明公开了一种基于前景感知增强的多模态目标检测系统及检测方法，充分结合了二维图像和三维点云的优势，并解决了前景点关注度低的问题。本发明通过前背景掩码机制以及焦点卷积模块，在二维和三维特征中分别强化前景信息，并通过通道和空间注意力模块进一步优化特征表达。最终，经过通道级联的增强融合特征经过区域建议网络和置信度前馈网络，筛选出置信度较高的检测结果。根据其目标类别确定不同的初始权重，计算预测边界框和真实边界框内前背景点的数量差异和位姿差异来进行损失聚合，并进行反向传播，以进一步优化预测边界框的位置精度，前景感知的聚合损失函数在训练过程中提供有效监督，进一步提升了模型的鲁棒性和准确性。