一种基于图像-文本预训练模型的少样本分类方法

本发明属于计算机视觉技术领域，公开了一种基于图像‑文本预训练模型的少样本分类方法。对于基元级最优运输，提出基于原型距离的图像块重加权机制。将原型和图像块之间的欧氏距离转换为每个图像块的权重，从而为图像块分配不同的权值。针对提示级阶段，提出级联最优运输模块，不仅考虑少样本图像‑文本特征之间的最优运输，还考虑零样本和少样本图像‑文本特征之间的交叉最优运输。提出一种基于原型的非平衡一致性损失函数来监督网络。该损失函数分为原型距离损失和非平衡一致性损失。在Caltech01、DTD、EuroSAT数据集上进行测试，从实验结果可以证明本发明所提出的网络模型性能优于目前最先进的算法，验证了算法的有效性。