一种基于双塔结构的多模态特征融合目标分类方法及系统

本发明提供了一种基于双塔结构的多模态特征融合目标分类方法及系统，涉及目标识别技术领域，所述方法包括流程为：构建多模态的无监督数据集以及有监督数据集；对多模态的无监督数据集以及有监督数据集进行不同模态的数据特征提取；对双塔多模特征融合模型进行无监督训练以及有监督训练；采用双塔多模特征融合模型对目标对象进行多模态特征查询，并且基于相似度检索实现多模态目标分类。本发明通过构建双塔多模特征融合模型，使得多模态数据的数据特征的动态融合，以实现不同模态特征之间的互补，解决了单一模态数据表达能力不足、模态缺失导致模型不适配的问题。