多模态任务模型的训练方法及装置、多模态任务处理方法及装置、设备及计算机程序产品

本申请公开了一种多模态任务模型的训练方法及装置、多模态任务处理方法及装置、设备及计算机程序产品，该方法包括：获取多模态传感器数据，包括激光点云数据和图像数据；利用数据增强策略对多模态传感器数据进行数据增强处理；获取多模态传感器的标定数据，根据增强后的多模态传感器数据及多模态传感器之间的标定数据构建多模态任务模型的训练数据，标定数据包括良好标定数据和弱标定数据；利用训练数据和预设知识蒸馏策略训练多模态任务模型。本申请采用了一种基于在线知识蒸馏的多模态模型训练方法，能够在不依赖精确标定的前提下，让模型动态地适应不同标定误差，维持模型训练精度，确保了自动驾驶系统在不同环境下均能维持高精度的感知能力。