一种基于模态贡献度评估的多模态目标识别方法

一种基于模态贡献度评估的多模态目标识别方法，包括以下步骤：构建并获得训练好的多模态目标识别网络；采用数据增强技术对多模态图像进行预处理，获得具有相同特征维度的图像输入特征；通过特征过滤模块分别提取图像输入特征中的浅层基础特征，并分别从相应的浅层基础特征中提取高频特征；通过模态贡献度评估模块分别计算高频特征的置信度和能量值；使用归一化后的置信度和归一化后的能量值计算融合权重；根据融合权重得到最终的目标识别结果。通过充分利用不同模态的信息，有效抑制无关信息；再对模态的贡献度进行度量，从而使得模态进行样本级动态融合识别；进而使本发明在多模态目标识别过程中的模态的信息贡献不均衡的问题。