一种基于局部令牌语义挖掘的长尾参数高效微调方法

本发明提供了一种基于局部令牌语义挖掘的长尾参数高效微调方法。所述方法包括：采用预训练的序列化视觉编码器初始化图像特征提取模型，并使用相应的预训练的文本编码器提取类别文本特征对分类器权重进行初始化；然后对图像进行序列化，使用图像特征提取模型和参数高效微调模块提取序列化图像特征；通过语义聚合函数，挖掘并聚合局部序列化特征中局部令牌所包含的语义信息，用以增强序列化特征中的类别令牌特征，获得增强类别令牌特征；然后采用概率控制样本补充策略，灵活地利用增强类别令牌特征对各类别样本进行补充，从而缓解长尾分布问题；最后通过图像分类损失和令牌特征一致性损失监督参数高效微调模块、语义聚合函数和分类器的学习。本发明提出的框架能够应对预训练模型用于下游长尾图像分类任务时，所遇到的的信息不平衡和缺失问题。此框架能够大幅提升基于预训练序列化模型的多种参数高效微调方法及多种分类损失函数在长尾分布场景中的图像分类性能，具有较强的实用性。