摘要
融入草稿回答及KV缓存驱逐的大语言模型文本回答方法,属于大语言模型文本回答生成领域。解决了基于现有KV缓存驱逐方法的大语言模型回答方法,存在回答质量低的问题。本发明使用了草稿回答的信息,使得保留下来的小部分KV缓存(K2和V2)更重要,并且获取保留下来的KV缓存(K2和V2)的过程中引入了注意力分数,使得信息考量更为全面,模型生成会得到更为准确的回答。本发明主要应用在大语言模型针对文本问题的回答中。
技术关键词
文本
大语言模型
答案
存储设备
注意力
驱逐方法
回答系统
计算机程序产品
处理器
序列
矩阵
分词
参数
编码