基于多模态的图像处理方法和装置、电子设备及存储介质

本申请实施例提供了一种基于多模态的图像处理方法和装置、电子设备及存储介质，属于药品计算机视觉技术领域。该方法包括：获取文本信息和图像信息；通过预先训练的图像编码器对所述图像信息进行编码，得到图像向量；通过预先训练的文本编码器对所述文本信息进行编码，得到文本向量；对图像向量和文本向量分别进行特征提取，并对得到的特征进行均值化处理，得到均值特征；对均值特征分别与文本向量和图像向量进行拼接处理，得到文本拼接特征和图像拼接特征；对文本拼接特征和所述图像拼接特征进行融合处理，并对融合特征进行分类输出，得到所述文本信息和所述图像信息的目标分类结果。本申请实施例有利于提升图像处理的准确度。