基于MLLM的数据处理及MLLM训练方法和装置

本公开提供了一种基于MLLM的数据处理及MLLM训练方法和装置，涉及人工智能技术领域，具体为大模型、多模态数据处理等技术领域。基于MLLM的数据处理方法包括：确定目标多模态数据的目标数据类型；所述多模态数据包括：目标图像和目标提示文本；采用MLLM中的预训练图像编码器，对所述目标图像进行编码，以获得目标图像特征；在MLLM中的多种候选文本编码器中，确定与所述目标数据类型对应的目标文本编码器；采用所述目标文本编码器，对所述目标提示文本进行编码，以获得目标文本特征；基于所述目标文本特征获取目标提示特征；基于所述目标图像特征和所述目标提示特征，获取数据处理结果。