一种基于图神经网络增强语言模型的富视觉文档信息抽取方法

在文档信息抽取方面，文档预训练模型成为主流，然而受限于大模型预训练的时间及计算资源开销，文档细粒度信息无法注入大模型中，长距离结构信息易被忽略，然而想要从根本上改进预训练模型是困难的。因此我们提出了一种基于图神经网络增强语言模型的富视觉文档信息抽取方法，该方法使用图神经网络增强预训练模型的文档的重建能力，将文档的视觉、文本以及结构输入图神经网络，然后将图神经网络与预训练模型的输出进行融合微调，能够进一步补充预训练模型欠缺的知识，可以有效的提高下游任务的表现。该框架为轻量级增强方案，不增加太多计算负担，能够广泛适用多种预训练模型，为文档信息抽取技术带来新突破。