基于多模态大模型的多模态预训练数据过滤方法

本发明公开了一种基于多模态大模型的多模态预训练数据过滤方法，包括如下步骤：步骤一，获取训练模型的多模态预训练数据，并对多模态预训练数据进行分类；步骤二，使用标准视觉指令调整在外部高质量多模态数据上训练参考模型；步骤三，根据参考模型RM得出的对数概率计算所有文本标记的参考损失；步骤四，通过步骤三计算的参考损失对步骤一获取的多模态预训练数据进行排序和筛选数据，获得最终高质量多模态预训练数据。本发明的基于多模态大模型的多模态预训练数据过滤方法，会仔细检查数据集，以找出具有最高代表性和训练价值的数据样本。