基于上下文信息融合的细粒度图像识别方法、系统及设备

本发明公开了一种基于上下文信息融合的细粒度图像识别方法、系统及设备，本发明的方法包括：获取训练所用的多模态细粒度的图像数据集并进行预处理；构建细粒度图像识别神经网络，其包括视觉编码器、基于函数的上下文信息融合路径、基于模板的上下文信息融合路径和输出汇聚模块，两个上下文信息融合路径分别实现特征融合以及跨模态交互学习过程，输出汇聚模块用于对交互增强后的多模态表征进行解析，并由分类器生成与每种模态表征对应的预测结果；在预处理后的图像数据集上训练细粒度图像识别神经网络，最后将待分类的测试细粒度图像和匹配的上下文信息输入到训练好的细粒度图像识别神经网络中，得到测试细粒度图像的识别结果。