基于终端设备的轻量级多模态神经网络的目标识别方法

本发明公开了基于终端设备的轻量级多模态神经网络的目标识别方法，涉及神经网络领域；包括以下步骤：多模态数据采集以及预处理，利用数据获取模块获取多模态数据，并对获取的数据进行预处理；轻量化特征提取网络构建，对于视觉分支和非视觉分支分别构建特征提取网络进行特征提取；动态跨模态特征融合，采用改进的交叉门控机制进行融合；多模态协同识别，构建双分支识别结构进行自适应决策融合；层次化后处理，识别后再进行分类结果校准和检测结果优化。本发明通过进行动态分辨率调整后进行混合数据增强，然后再采用多模态融合和识别的形式，增加了复杂场景下的目标识别准确率。