一种基于字幕感知预训练的多任务网络道路目标检测方法

本发明公开了一种基于字幕感知预训练的多任务网络道路目标检测方法，包括两阶段训练：第一阶段通过图像编码器与字幕感知解码器的联合训练，利用自动驾驶场景图像及其对应的文本标注数据进行预训练，优化图像编码器。第二阶段基于预训练的图像编码器和多任务解码器头，使用包含目标检测、车道线检测与可行驶区域分割标注数据的训练集进行联合训练。该方法通过优化多任务损失函数，实现了多任务学习的协同提升，增强了图像目标检测的精度和鲁棒性。具体来说，目标检测通过边界框回归，车道线检测通过位置标定，可行驶区域通过图像分割实现。该方法可广泛应用于自动驾驶系统中的道路目标检测，提高了场景理解与决策精度。