基于元学习的预训练多模态模型特征均匀对齐方法

本发明公开了一种基于元学习的预训练多模态模型特征均匀对齐方法，以预训练多模态模型作为基准模型，采用文本端提示模块替换词嵌入编码模块，采用图像端提示模块替换块嵌入编码模块，并添加权重自适应调整模型，从而构建得到元增强对比学习模型，初始化提示参数、权重自适应调整模型参数和损失函数权重，然后交替采用训练数据集、元数据集对提示参数和权重自适应调整模型参数进行学习，将确定提示参数的文本端提示模块、图像端提示模块加入多模态模型中构成双提示多模态模型，完成多模态模型微调。本发明通过引入双提示框架以及对齐性和均匀性约束，提升对于图像和文本的特征提取能力，从而显著提升多模态模型在下游任务中的性能。