基于跨模型互补协作的小样本图像分类方法

基于跨模型互补协作的小样本图像分类方法，包括采用图像切块和随机掩码对图像数据进行预处理，预处理后分别输入到视觉基础模型和任务特定模型中进行特征提取，以视觉基础模型提取到的掩码保留的第一局部特征集合为输入，通过解码器来重建被掩码的局部块特征，分别对视觉基础模型和任务特定模型进行语义结构化表征，计算视觉基础模型和任务特定模型之间的语义结构一致性正则，利用线性分类器对输入数据进行类别隶属关系预测，根据预测标签和该样本的真实标签计算交叉熵损失，利用总损失进行端到端的训练，训练完成之后，保留视觉基础模型及对应的线性分类器进行测试；降低了由于分布差异较大以及标注数据较少而对现有微调技术泛化能力的影响。