基于相关性-判别性标签分组提示的多标签图像识别方法

本发明公开一种基于相关性‑判别性标签分组提示的多标签图像识别方法，使用谱聚类将原始类别划分为相关组子集和若干个判别组子集，使用预训练好的视觉模型进行学习表征，采用视觉提示调优生成相关组提示标记和判别组提示标记，以及相关组感知表征和判别组感知表征；使用混合专家模型将相关组感知表征和判别组感知表征，自适应地映射为标签感知表征；使用两个独立参数的分类器协同地进行标签的识别预测，并通过加权求和的方式融合预测结果。本发明通过视觉提示调优方法避免微调整个预训练模型，以减少计算开销和改善由数据分布差异带来的效果不佳，同时通过一种标签分组策略，来缓解过度强调共现关系而产生的过拟合风险。