一种多模态数据融合的图像识别方法及系统

本发明公开了一种多模态数据融合的图像识别方法及系统，针对目标场景同步采集图像数据和非图像模态数据，并对图像数据和非图像模态数据进行预处理，将预处理后的数据均输入特征融合网络，由特征融合网络的图像分支提取图像数据的分层视觉特征、模态分支提取非图像模态数据的模态特征、交互层对提取到的特征进行融合，形成含跨模态关联信息的融合特征向量；将融合特征向量输入分类器，以识别得到目标场景中采集对象的信息和置信度，当置信度低于置信度阈值时重新进行特征提取与识别，形成“采集‑融合‑识别‑反馈”闭环优化。以此方式，通过充分考虑不同模态数据之间的内在联系和互补性，从而提高图像识别的准确性，并且增强识别过程的适应性。