基于大语言模型的长文本记忆保持方法、系统、设备和存储介质

本发明涉及一种基于大语言模型的长文本记忆保持方法、系统、设备和存储介质。所述方法包括：通过大语言模型中的分词器对长文本信息中的文本内容进行分级，得到各个文本内容的各个级别；基于注意力机制分别对各个级别的文本内容进行上下文信息权重计算，得到各个级别对应的权重；根据各个级别对应的权重将各个文本内容存储至短期记忆空间或长期记忆空间；使用KV Cache对短期记忆空间或长期记忆空间进行压缩处理，得到压缩后保留的文本内容并输出。通过对长文本信息中的文本内容进行分级，然后计算对应级别的权重，保证了多个维度的上下文内容的逻辑一致性；使用KV Cache对记忆空间进行压缩处理，可以加速大语言模型的推理时间。