摘要
本发明涉及小样本图像分类技术领域,具体为多尺度动态特征融合的多模态小样本图像分类方法及系统;所述方法包括:获取小样本图像数据集,并将其划分为支持集和查询集;将两者输入特征提取网络以提取全局特征,同时将这些特征输入到区域提议网络RPN中,从而获得相应局部特征。根据支持集数据的类别标签提取语义信息,并将其输入到文本编码器以获得文本特征;将输入图像的全局特征、局部特征和文本特征输入到自适应权重网络中,进行动态特征融合,以有效整合多模态信息;融合后的多模态特征输入到以原型网络作为学习器、MAML算法作为元学习器的分类模型中进行分类预测,最后使用复合损失函数对网络模型进行训练,用训练后的分类器进行图像分类。
技术关键词
图像分类方法
特征提取网络
多模态信息
样本
原型
动态
文本编码器
模态特征
交叉注意力机制
多尺度特征提取
通道注意力机制
学习器
融合全局特征
分类网络
图像全局特征
图像分类系统