多模态模型的训练方法、模型、图像识别方法及相关产品

本申请公开了一种多模态模型的训练方法、模型、图像识别方法及相关产品，涉及机器学习技术领域，多模态模型的训练方法包括：基于多模态样本数据生成多模态提示特征，将多模态提示特征进行跨模态映射，得到目标模态预测信息；通过目标模态预测信息和对应的样本数据确定模态对齐损失；通过反向映射模态信息和对应的样本数据确定内容对齐损失，反向映射模态信息是目标模态预测信息通过反向跨模态映射生成的，反向跨模态映射是跨模态映射的逆过程；通过模态对齐损失、内容对齐损失优化跨模态映射、反向跨模态映射和提示信息中涉及到的可学习参数，以完成训练。本申请实施例能够提高多模态模型的性能和用户的使用体验。