一种基于交互提示的联邦跨模态检索方法及系统

本发明提供了一种基于交互提示的联邦跨模态检索方法及系统，涉及跨模态信息检索领域，基于两个模态数据的特征相似度，使用第一模态数据从第二模态数据集中检索相似的第二模态数据，包括：分别提取两个模态数据的初始特征；利用联邦学习得到的跨模态交互网络，以提示向量作为中介，进行两个模态初始特征间的多层双向交互，得到跨模态交互后两个模态的最终特征；基于两个模态的最终特征，计算特征相似度，筛选相似的第二模态数据；本发明将联邦学习和提示学习相结合，提升跨模态检索技术的效用性与普适性，解决跨模态检索中的隐私保护与性能优化问题。