生成式多模态检索模型的训练方法、检索方法及相关装置

本发明涉及计算机技术领域，提供了一种生成式多模态检索模型的训练方法、检索方法及相关装置，该生成式多模态检索模型的训练方法包括：对样本指令进行演化并评分，得到指令评分数据集；根据指令评分数据集通过微调的方式对大语言模型进行训练，得到指令评分模型；基于结果奖励模型数据集通过微调的方式对大语言模型进行训练，得到结果奖励模型；采用近端策略优化算法根据指令评分模型和结果奖励模型对MLLM进行强化学习训练，得到生成式多模态检索模型。本发明所述方法通过指令演化和强化学习的结合优化提升文本‑图像跨模态检索模型的性能，进而提高了文本‑图像跨模态检索效率和准确率。