一种大模型增强的跨模态检索方法、系统及相关设备

本发明公开了一种大模型增强的跨模态检索方法、系统及相关设备，所述跨模态检索方法包括：获取图像‑文本对；基于所述图像‑文本对，获取图像‑文本对的大模型增强信息，结合原始图像、文本和增强信息，采用预训练CLIP模型的多分支编码器以得到多个特征向量，构建多级协同对齐损失函数，在公共语义空间对图像模态和文本模态进行协同对齐；通过所述多级协同对齐损失函数以及预构建的训练数据库对模型进行训练，通过训练后的模型进行检索。本发明通过对编码器得到的图文特征进行协同学习，通过加入辅助的语义增强信息，在公共语义空间对图像模态和文本模态进行协同对齐，以训练出更好的检索网络从而提升图像‑文本检索的准确性。