文档理解模型预训练方法、文档理解方法、电子设备及存储介质

本发明提供一种文档理解模型预训练方法、文档理解方法、电子设备及存储介质，涉及文档理解技术领域，该方法中结合语义块信息和文本信息，确定文本信息的输入顺序，可以模拟人类的阅读流程，使初始文档理解模型更容易捕捉样本文档的逻辑结构及上下文依赖，增强样本文档对的语义连贯性，无需设计复杂的规则或算法使初始文档理解模型确定各元素的优先级或重要性。而且，保持输入顺序可以避免因重新排列各元素的文本信息而丢失上下文信息，减少信息丢失，提高模型理解准确性。该方法采用的初始文档理解模型包括基于空间状态模型构建的编码器，计算复杂度从二次降低为线性，显著提高文档处理效率，缩短模型所需的计算时间，降低模型内存开销。