基于多模态大模型的图文信息抽取方法、系统及存储介质

本发明公开了一种基于多模态大模型的图文信息抽取方法、系统及存储介质。抽取方法包括：S1：选取多模态大模型；S2：针对所述多模态大模型，进行OCR基础能力训练任务；S3：针对S2训练后的多模态大模型，进行多任务混合且同时进行的图文信息抽取训练任务，其中，训练数据从多任务中随机抽取；S4：将待处理的图像输入至S3训练后的多模态大模型，输出所述原始图像中的图文信息。通过对图文信息抽取领域进行专门的训练任务设计，极大地提升了多模态大模型的字符识别率、指令遵循能力，抑制了幻觉，取得了很好的端到端信息抽取效果，显著提升了工业生产中的图文信息抽取精度。