一种针对专业领域的跨模态图文检索方法

本申请提出了一种针对专业领域的跨模态图文检索方法，该方法包括：根据高效参数微调技术构建适配器，通过对比学习的训练方式对适配器进行训练；根据训练好的适配器对用户上传的不同专业领域的图文数据进行特征提取并进行扩展，利用扩展后的文本和图像的特征嵌入向量进行基于分层图的索引结构的构建；根据用户的查询内容选择对应的专业领域的检索接口，选用相应领域的训练好的适配器对查询内容进行特征提取；在已建好的索引结构中为提取的查询内容的特征进行近似最近邻搜索，得到最相关的查询结果并返回给用户。基于本申请提出的方案，在为用户提供针对不同专业领域数据进行准确、高效的跨模态检索服务的同时，具有较低的训练开销。