基于MLLM的数据处理及MLLM训练方法和装置

本公开提供了一种基于MLLM的数据处理及MLLM训练方法和装置，涉及人工智能技术领域，具体为大模型、多模态数据处理等技术领域。基于MLLM的数据处理方法包括：采用MLLM包括的微调图像编码器，对目标图像进行编码，以获得第一图像特征；采用所述MLLM包括的预训练图像编码器，对所述目标图像进行编码，以获得第二图像特征；对所述第一图像特征和所述第二图像特征进行集成，以获得目标图像特征；基于原始提示文本获取目标提示特征；基于所述目标图像特征和所述目标提示特征，获取数据处理结果。