基于多模态预训练模型的图文处理方法、装置、电子设备和存储介质

本公开提供一种基于多模态预训练模型的图文处理方法、装置、电子设备和存储介质，涉及深度学习技术领域。上述方法包括：获取待处理的图像数据和文本数据；将所述图像数据和所述文本数据，输入多模态的预训练模型中，得到从所述预训练模型输出的图文处理结果，所述预训练模型的编码器包括以下任一项：单模态编码器和多模态编码器，所述预训练模型还包括多模态解码器。本公开提供了一种新的VLP框架，将编码器和多模态的解码器进行融合，提高了图文处理的效率，增强了图文处理的效果。