用于自动驾驶的多模态大语言模型的数据构造和训练方法

本发明公开一种用于自动驾驶的多模态大语言模型的数据构造和训练方法，数据构造方法包括：S10：数据选取，从车辆采集得到的原始视频数据中选取正样本场景训练数据和负样本场景训练数据，正样本场景是指车辆行驶过程中需要改变驾驶决策的场景，负样本场景是指车辆行驶过程中无需改变驾驶决策的场景；S20：数据清洗，按照预定频率，将步骤S10中选取的正样本场景训练数据和负样本场景训练数据提取成为连续帧的图像数据，同时将每一帧的车速以及导航指令同步清洗出来；S30：数据标注，通过人工标注的方式获取真值。本发明的数据构造方法可以保证数据的多样性和平衡性，提升了模型的泛化能力。