基于检索及多模态大模型的少样本细粒度图像分类方法

本发明涉及一种基于检索及多模态大模型的少样本细粒度图像分类方法，属于细粒度图像分类领域，该方法包括：获取细粒度图像的所有类别，结合每个类别的具体特征设定类别prompt模板；整理细粒度图像数据集；分别对图片和类别信息进行向量化模型编码，得到图像向量和文本向量；对候选信息进行检索召回；对待分类的无标签图像样本及其检索召回的图像集、文本信息集和类别信息集，经过多模态大模型，得到最终的细粒度图像分类结果。本发明所述的方法，可以降低数据集搜集的成本，提高细粒度图像分类任务的灵活性及可扩展性。