摘要
本发明涉及计算机视觉和深度学习技术领域,公开了一种融合空间注意力机制与长短期记忆网络序列建模的图像分类系统及方法,结合了卷积神经网络的特征提取能力,以及空间注意力与时序注意力机制,利用长短期记忆网络处理空间位置序列。首先将图像通过特征提取模块采用冻结权重的预训练卷积神经网络提取高级空间特征,随后引入空间注意力模块,通过通道维度统计生成空间注意力图,增强重要区域特征。在空间注意力加权后利用双路径特征,一个路径进入特征变换模块,使用卷积层降维并增强特征表达能力。随后进行序列建模模块,将空间特征展平为位置序列,采用双向长短期记忆网络建模空间位置依赖关系,引入可学习注意力向量动态聚合关键位置特征。另一路径保留空间全局特征。将双路径特征输出到特征融合模块,并行提取空间全局特征和序列聚合特征,设计门控机制自适应融合双路径特征。最后进入分类模块,基于融合特征实现端到端图像分类。
技术关键词
图像分类方法
图像分类系统
融合特征
注意力机制
路径特征
特征提取模块
长短期记忆网络
序列特征
Softmax函数
训练卷积神经网络
Sigmoid函数
卷积神经网络提取
全局特征融合
残差神经网络
特征提取能力
深度学习技术