摘要
本发明提供基于人类认知启发的大语言模型长期记忆方法,根据滑动窗口计算历史交互文本向量的语义相似度分布,并计算窗口的局部信息熵;基于相邻窗口的局部信息熵值差,确定事件边界;将各离散事件作为模型的记忆,对记忆分区管理;在事件记忆分区已满时,将低留存率的记忆事件转移到长期记忆区;在交互的内容涉及到历史信息时,使用情境化记忆检索方法在事件记忆分区检索相关历史事件;大语言模型结合当前上下文以及检索的相关历史事件,为用户生成内容。本发明采用基于事件切割理论的记忆编码与存储、多层级动态记忆管理、事件级别的情境化记忆检索方法,从而解决了现有的大语言模型长期记忆方法缺乏动态记忆和情境化的问题。
技术关键词
记忆单元
记忆方法
大语言模型
检索方法
文本
信息熵
分区管理
滑动窗口机制
语义
记忆管理
遗忘机制
切割算法
人类
计算机设备
序列
动态
存储器
系统为您推荐了相关专利信息
业务办理窗口
意图识别模型
语义向量
非易失性存储介质
推荐方法
多媒体
深度学习模型
识别模块
输入输出模块
跨模态
多模态辅助
解码方法
音频特征提取
解码器
信号特征提取
快捷支付系统
长短期记忆模型
样本
计算机执行指令
状态检测方法