一种面向中文用户的隐私保护的跨模态图文检索方法

本申请提出了一种面向中文用户的隐私保护的跨模态图文检索方法，该方法包括：用户向私有服务器提交图文数据，通过高效参数微调方法设计的特征提取模型将图文特征映射至同一语义空间并采用非对称标量积技术加密；将加密后的图文数据与图文数据特征一同上传至云服务器，云服务器构建加密数据的分层图索引；当用户查询时，私有服务器提取并加密查询特征，云服务器通过已建好的索引结构执行近似最近邻搜索，返回加密结果给私有服务器解密，最终将明文结果送达用户。本申请可以实现在保护用户数据隐私安全的同时，为用户提供针对其存储于第三方云服务器上的图文数据的跨模态检索服务，并且具有较高的检索精度和检索效率，以及较低的训练开销。