多视觉模型的训练方法、多模态任务处理方法以及设备

本申请提供了一种多视觉模型的训练方法、多模态任务处理方法以及设备，属于人工智能技术领域，训练方法包括：将图像训练数据输入第一视觉模型和第二视觉模型，得到第一图像特征向量和第二图像特征向量；基于第一图像特征向量和第二图像特征向量对混合专家连接器进行训练，得到多模态任务处理模型；多模态任务处理模型包括第一视觉模型、第二视觉模型和训练后的混合专家连接器；训练后的混合专家连接器用于进行第一图像特征与第二图像特征的对齐；多模态任务处理模型用于对包括图像数据在内的多模态数据进行处理得到多模态任务的处理结果。本申请能够基于全面捕获和分析图像特征，提升多模态任务处理模型基于视觉理解处理多模态任务的性能表现。