重建引导的多模态大模型训练方法、装置、应用及设备

本发明提供了一种重建引导的多模态大模型训练方法、装置、应用、设备、介质及程序产品。该方法包括：对样本图像进行重建，得到重建图像特征；将针对样本图像的样本视觉特征和针对样本文本的样本文本特征输入多模态大模型，输出预测视觉特征和预测文本特征，其中，样本文本与样本图像关联；基于重建图像特征和预测视觉特征，确定重建引导的视觉损失值；基于预测文本特征和样本文本特征，确定文本损失值；以及基于重建引导的视觉损失值和文本损失值，对多模态大模型进行训练，得到训练好的多模态大模型。