基于高斯判别分析的多模态模型微调方法及装置

本发明提供一种基于高斯判别分析的多模态模型微调方法及装置，方法包括：获取训练图像，其中，训练图像包括对应的类别标签；通过视觉编码器对训练图像进行编码处理，得到训练图像的视觉特征；基于视觉特征确定每个类别标签的类别均值向量，并根据类别均值向量确定对应类别标签的协方差逆矩阵；对协方差逆矩阵进行高斯判别分析处理，得到视觉编码器对应的视觉分类器；将视觉分类器与文本编码器对应的文本分类器进行加权集成，得到多模态模型的最终分类器，其中，最终分类器用于识别多个类别标签。通过本申请，能够在无须训练多模态模型的情况下，提高多模态模型在下游任务上的性能。