多模态模型训练方法、装置、电子设备、存储介质及计算机程序产品

本申请公开了一种多模态模型训练方法、装置、电子设备、存储介质及计算机程序产品，其中，方法包括：将第一语言的文本数据输入第一编码器，输出第一编码；第一编码器表征教师模型的文本编码器；将一种或多种第二语言的文本数据输入第二编码器，输出一个或多个第二编码；第二编码器表征学生模型的文本编码器，学生模型用于处理一种或多种第二语言的多模态数据；将图文数据中的图像输入第三编码器，输出第三编码，并将图像输入第四编码器，输出第四编码；第三编码器表征教师模型的图像编码器；第四编码器表征学生模型的图像编码器；基于第一编码与一个或多个第二编码，训练第二编码器，以及基于第三编码和第四编码，训练第四编码器。