多模态大模型的训练方法、文档理解方法以及设备

本公开提供了多模态大模型的训练方法、文档理解方法以及设备，涉及人工智能技术领域，尤其涉及深度学习、自然语言处理、计算机视觉、大模型等技术领域。具体实现方案为：获取训练数据，其中，训练数据包括文档理解任务下的样本文档图像、样本文档图像对应的样本问题和样本问题的样本回答；将样本文档图像和样本问题输入第一多模态大模型，获取预测回答，其中，第一多模态大模型为预先训练的、与文档理解任务无关的多模态大模型；根据预测回答和样本回答，对第一多模态大模型进行训练，得到第二多模态大模型。由此，降低了模型训练难度以及模型训练成本。