一种基于检索增强的视觉模型微调方法

本发明公开了一种基于检索增强的视觉模型微调方法，涉及计算机视觉和半监督学习技术领域，提取有标签图像和无标签图像的视觉特征向量；利用BM25检索对有标签图像检索出接近的无标签图像；利用向量检索对有标签图像检索出接近的无标签图像；对检索出的无标签图像即检索图像生成对应的隐式文本特征向量；将有标签图像的视觉特征向量和对应的检索图像的视觉特征向量以及对应的隐式文本特征向量进行融合，得到融合特征；将融合特征输入分类器，通过有标签图像进行监督学习即可完成对视觉模型的训练。本发明通过将检索增强微调方法应用于半监督学习领域，解决了现有技术中无标签数据分布不确定导致的低预测精度问题，为提高半监督学习模型的实际应用效果提供了新的解决方案。