基于领域专有模型与开放开集模型集成的自动驾驶感知方法

本发明一种基于领域专有模型与开放开集模型集成的自动驾驶感知方法，属于计算机视觉技术领域。本发明针对多摄像机图像输入或者多摄像机图像与雷达点云的多模态输入，通过领域专有模型分支给出多项自动驾驶感知任务的领域专有预测结果；通过开放开集模型分支给出多项自动驾驶感知任务的开放开集预测结果；最终，通过集成模块对领域专有预测结果和开放开集预测结果进行融合，得到兼具领域专有和开放开集优势的预测结果。本发明通过组合已有基础模型，并设计2D到3D物体转换模块，得到针对非白名单物体的3D目标检测开集模型，解决了无法通过数据驱动方式直接训练得到3D任务大模型的问题；且直接对各神经网络模块进行组合，不会引入额外的训练代价。