数据空间中语义与向量融合的跨模态检索方法

本发明提出了数据空间中语义与向量融合的跨模态检索方法，属于跨模态信息检索领域，首先收集并预处理多模态数据；利用预训练模型生成模态嵌入并存储；构建共享语义空间，通过对比学习优化跨模态向量对齐，设计模态映射网络增强嵌入投射效果；使用Milvus数据库存储对齐后的嵌入，构建HNSW索引；处理用户文本或图像查询，文本查询解析限定条件生成增强嵌入，图像查询通过OCR提取文字并与图像特征融合生成嵌入；在数据库中通过条件筛选与语义相似度计算，检索Top‑K候选项；对候选结果进行多模态相关性排序并返回结果；本发明构建共享语义空间，优化不同模态嵌入的对齐效果，进行多模态嵌入的高效存储与索引管理，实现大规模跨模态数据的实时检索。