一种基于关键标记对齐的跨模态检索方法及系统

本发明公开了一种基于关键标记对齐的跨模态检索方法及系统，该方法包括：收集多模态数据集，确保数据包含跨模态的语义关联信息；构建基于关键标记对齐的跨模态语义匹配模型，通过共享嵌入空间或注意力机制实现不同模态间的语义对齐；利用采集的数据对语义对齐模型进行优化训练，使其能够准确学习跨模态的关联特征；将待查询数据输入训练好的模型，计算其与目标模态数据的语义相似度，输出匹配结果。该系统包括：数据集获取单元、模型构建单元、模型训练单元和数据检索单元。通过使用本发明，能够实现高精度的跨模态检索。本发明可广泛应用于数据分析领域。