一种语义理解驱动的跨模态信息融合与检索方法及系统

本申请公开了一种语义理解驱动的跨模态信息融合与检索方法及系统，通过获取文本、图像及音频原始数据，分别通过深度神经网络提取各模态初始特征集合；基于注意力机制动态分配各模态权重系数，对初始特征集合加权融合，得到跨模态融合特征表示；通过跨模态语义关联分析模型，从融合特征表示中提取高维语义关联特征，生成语义增强特征向量；基于该向量构建跨模态语义图网络，对缺失模态特征补全，生成优化后的多模态特征集合；将优化后的特征集合与查询样本输入对比学习模型，计算语义相似度得分，根据得分生成跨模态检索结果排序列表。