基于自适应多模态提示学习的图像分类方法

本发明公开了一种自适应多模态提示学习方法，该方法利用大规模视觉语言模型的潜力，通过图像提示和文本提示的协作，提升了样本内和样本外的泛化能力。通过掩蔽图像中的无意义块并采用自适应交互学习机制，本发明有效增强了多模态信息的相互协作和共享，从而在处理少量样本和未见过的类别时，能够稳健地学习图像和文本之间的深层语义联系。在无需大规模微调模型参数的情况下，本发明结合了现有提示学习方法的优势，为多模态任务提供了高效的解决方案。大量实验表明，本发明在多个基准数据集上的性能均优于现有最先进的方法。