用于多语言任务的模型预训练方法和装置

本申请提供了用于多语言任务的模型预训练方法和装置，涉及人工智能技术领域，方法包括：获取多模态训练数据集，训练数据集包括具有多语言内容的多个样本文本数据和多个样本图文对数据，涵盖通用领域和预设业务领域；基于多个样本图文对数据，对初始模型进行视觉特征和文本特征对齐的对比学习训练，在训练过程中冻结解码模块的模型参数并调整视觉编码器和投影模块的模型参数，至满足第一结束条件；基于多个样本图文对数据和多个样本文本数据，对满足第一结束条件的初始模型进行内容理解的约束训练，在训练过程中调整视觉编码器、投影模块和解码模块的模型参数，至满足第二结束条件得到目标模型；本申请能够显著提升模型在特定领域的信息提取能力。