长文本处理方法、装置、电子设备及存储介质

本发明涉及一种长文本处理方法、装置、电子设备及存储介质。其中方法包括：获取目标长文本中当前词元对应的当前键特征、当前值特征和当前查询特征，以及，上一词元对应的第一全局状态特征；将当前键特征、当前值特征和第一全局状态特征输入编码器中，以使所述编码器输出第二全局状态特征，所述第二全局状态特征包括：所述当前词元及所述当前词元之前所有词元的高层语义信息；将所述第二全局状态特征与所述当前查询特征输入解码器中，以使所述解码器输出所述当前词元对应的词元表示。本申请实施例能够节省存储及计算资源，有效解析高层语义信息，有效融合长距离的上下文信息，提升模型对长文本的理解能力。