一种多模态基础模型迁移方法及系统

本申请公开了一种多模态基础模型迁移方法及系统，运用于迁移学习技术领域，其方法包括：获取输入图像和文本类别；提取输入图像的视觉特征以及文本类别中的文本特征；基于视觉特征和文本特征分别计算第一损失和第二损失；计算输入图像相对于所述文本类别的预测分数，进而聚合得到混合分数向量；计算输入图像在文本类别上的提示分数向量；计算提示分数向量和混合分数向量之间的第三损失，计算预设的多模态基础模型对输入图像的预测分数向量和真实样本标签的交叉熵损失；基于第一损失、第二损失、第三损失、交叉熵损失，得到迁移框架，通过迁移框架将外部异构知识集成至多模态基础模型中。