一种基于细粒度特征交互对齐的跨模态检索方法及系统

本发明公开了一种基于细粒度特征交互对齐的跨模态检索方法及系统，该方法包括：跨模态特征优化阶段，采集跨模态数据，对其进行编码、降维以及重构操作；初步筛选阶段，计算优化后特征间的模态间相似度矩阵，根据相似度得分构建跨模态候选匹配集合；最终匹配阶段，将重构特征作为查询向量，以局部特征作为键和值，通过注意力匹配机制在候选集中进行精细化跨模态对齐，输出最终的跨模态匹配结果。该系统包括：数据获取模块、特征优化模块、粗粒度检索模块和匹配模块。本发明能够兼顾检索效率与检索准确率。本发明可广泛应用于数据检索领域。