一种多模态小样本图像分类方法和装置

本发明提供一种多模态小样本图像分类方法和装置，包括：获取预先建立的数据集；其中，数据集包括多个图像数据对，每个图像数据对包括一张图像和与该图像内容对应的类别名称；对数据集中的类别名称进行文本语义扩充，并基于扩充后的文本描述为每一图像生成对应的标注向量，得到多模态数据集；基于多模态数据集对预先建立的分类模型进行预训练，得到预训练分类模型；通过元学习策略训练预训练分类模型，得到图像分类模型；获取待分类的目标图像，将目标图像输入图像分类模型得到图像分类结果。本发明可充分利用长文本信息，不仅关注视觉特征的优化，还充分挖掘语义先验中的潜力，提升小样本图像分类的准确性，具有很大的应用前景。