摘要
本发明公开了一种长期对话记忆压缩与对话模型适配方法,包括以下步骤:S1、基于记忆模型的对话历史压缩:记忆模型采用Transformer架构,使记忆的更新通过重新分配注意力分配的方式进行,结合记忆与新对话信息的交叉注意力和记忆之间的全局自注意力决定注意力分配情况;S2、对话模型的记忆感知适配:在不改变原模型参数前提下,接入交叉注意力线性映射层,进行不同语义空间之间的适配;S3、注意力输出计算:结合自注意力和适配后的交叉注意力计算结果,得出最终注意力输出;该方法在对话场景中,使用压缩模型将对话内容压缩为固定尺寸的记忆,使记忆随着对话轮次增加动态地更新,可降低计算复杂度,减轻内存开销。
技术关键词
注意力
记忆模型
标识
矩阵
参数
序列
编码器
动态地
元素
语义
线性
复杂度
内存
索引
机制
场景
尺寸