基于视觉语言预训练模型的细粒度多模态提示学习方法

本发明公开了一种基于视觉语言预训练模型的细粒度多模态提示学习方法，涉及视觉语言预训练模型技术领域，方法包括：构建用于学习视觉特征与文本特征的多模态提示学习向量，基于所述细粒度多模态提示学习模型，生成不同视觉类别间的全局差异及细微区分视觉特征和类别差异性文本特征，基于余弦相似度损失函数对多模态提示学习向量进行优化。本发明通过双粒度视觉提示与文本提示的结合，有效解决了现有提示学习调优方法中双模态提示表示空间无法协同推理、难以捕捉细微区分性特征的问题，并在多个主要的图像识别基准数据集上验证了其优越的迁移泛化能力和少样本学习能力，在下游任务中取得了显著的性能提升。