基于难度加权对比学习的大型多模态嵌入模型的训练方法

本申请的实施例提供了一种基于难度加权对比学习的大型多模态嵌入模型的训练方法。该方法包括：构建多模态嵌入模型以作为策略模型，并引入独立于所述策略模型的奖励模型，所述奖励模型用以动态评估负样本对的难度，并生成对应的权重值；获取训练数据集，所述训练数据集包括正样本对和负样本对；根据所述训练数据集对所述策略模型进行训练，并在训练过程中，基于所述奖励模型计算所述负样本对的权重值，根据所述权重值调整对比学习损失函数中的负样本权重，以根据所述对比学习损失函数对所述策略模型进行优化。本申请实施例的技术方案可以提高多模态嵌入模型的表征学习能力，以使多模态嵌入模型能够更有效地学习区分度更高的多模态表征。