基于多模态的目标检测模型训练方法、装置、车辆及介质

本申请涉及目标检测领域，公开了一种基于多模态的目标检测模型训练方法、装置、车辆及介质，该方法获取多个支路的初始主干网络与初始检测头，每个支路对应的初始主干网络和初始检测头构成一个单模态目标检测子模型；每一支路的网络参数采用一种类型的单模态数据集进行训练，确定每个支路优化后的预训练主干网络；以预训练主干网络与模型检测头构建特征提取网络，利用多模态数据集对特征提取网络进行训练，确定多模态的目标检测模型。本申请通过对单模态数据进行处理，减少了不必要的复杂度，提高了模型对单模态数据的学习能力；有效地解决直接拼接带来的空间位置信息学习困难问题，加快了模型收敛速度，提高了模型训练任务的性能表现。