一种基于预训练多模态大模型的跨模态表示学习方法

本发明公开了一种基于预训练多模态大模型的跨模态表示学习方法，其通过教师模型和学生模型对输入数据在不同尺度上进行特征提取，结合对比蒸馏、特征蒸馏、相似性蒸馏和硬负样本蒸馏对学生模型进行知识提炼；再根据不同蒸馏方法的损失动态调整权重，优化蒸馏过程。本发明提供了一种有效的方法来提炼多模态大规模预训练模型的知识，从而提高轻量级学生模型的性能和准确性，具有高效、简便等优点，可广泛应用于跨模态表示学习等领域。