一种基于视觉-语言预训练模型的长尾多标记图像分类方法

本发明公开了一种基于视觉‑语言预训练模型的长尾多标记图像分类方法，获取具有真实标记的多标记样本数据；将传统CLIP预训练模型模型中softmax层替换为sigmoid层，适应多标记任务；构建长尾多标记图像分类模型并对其进行训练；将语义融合特征与文本特征进行残差连接，与图像特征进行余弦相似度计算，并经过sigmoid得到预测概率；由重加权长尾损失函数对模型进行监督训练，并应用参数高效微调避免过拟合问题；针对待测试的图像数据，经过数据增强策略后，输入到训练后的模型中进行预测，最终获得标签的预测结果，实现长尾多标记图像分类。本发明充分利用了标签之间的相关性，缓解长尾类别分布引发的尾部类分类精度不足的影响，提高了多标记分类的准确性。