一种文档信息抽取方法、装置和系统及存储介质

本发明公开了一种文档信息抽取方法、装置和系统及存储介质，涉及深度学习领域，包括：输入原始文档进行预处理，得到文档图像；采用Vision Transformer(ViT)对文档图像进行OCR识别，得到文本信息和与文本信息对应的文本框坐标信息；基于深度学习的yolov8‑seg实例分割算法，确定每个版面元素框的类别和坐标信息，再将版面元素框坐标信息与文本框坐标信息进行版面区域匹配，得到每个版面元素框对应的文本信息；将每个版面元素框的类别和对应的文本信息作为版面区域匹配结果，结合待抽取的文档信息形成Prompt模板，作为大模型的输入并进行微调训练，微调训练完成后，模型可根据输入正确抽取文档信息。该方法结合了OCR的文字识别、版面分析的布局解析和大模型的语言理解能力，能够从复杂多样的文档中精准提取关键信息。