多模态预训练模型的迁移方法和相关产品

本发明公开了一种多模态预训练模型的迁移方法和相关产品。该方法中，为视觉编码器中每一个Transformer编码器模块的每一个注意力头的映射矩阵分配独立的低秩微调项，每一个低秩微调项为独立的A矩阵与独立的B矩阵的乘积，并且为视觉编码器中每一个Transformer编码器模块的每一个注意力头分配独立的门控参数，Transformer编码器模块的输出是根据其自身的各注意力头的输出特征及各注意力头对应的门控参数确定的，门控参数用于调节对应注意力头的权重；将训练样本的文本特征和图像特征输入至输出模块，得到分类损失，根据分类损失对各A矩阵、各B矩阵以及各门控参数进行迭代。该方法提高模型迁移到下游任务上的精度且提高收敛速度。