面向完备行车环境状态感知的高性能低成本多模态数据融合模型及设备

本发明公开了面向完备行车环境状态感知的高性能低成本多模态数据融合模型及设备，包括特征提取模块，以提取相机图像、激光雷达点云的初始潜在特征；概率交叉注意力机制构建不确定性感知的特征融合模型；可降低不确定性的查询初始化模型，利用二维目标检测先验增强查询的初始化过程；基于查询去噪的鲁棒性优化训练策略，在不确定性下实现稳定优化。选取nuScenes数据集用以训练、验证以及测试模型的综合性能，TensorRT实现CUDA加速，量化部署于车载计算实验平台。本发明的多模态数据融合系统，创新基于数据、模型的感知状态不确定性显式度量计算理论，建立应对环境不确定性的感知模型，满足行车环境的完备性、可靠性和可重构性需求，确保行车安全和决策准确。