融入草稿回答及KV缓存驱逐的大语言模型文本回答方法

AITNT
正文
推荐专利
融入草稿回答及KV缓存驱逐的大语言模型文本回答方法
申请号:CN202511011151
申请日期:2025-07-22
公开号:CN120849565A
公开日期:2025-10-28
类型:发明专利
摘要
融入草稿回答及KV缓存驱逐的大语言模型文本回答方法,属于大语言模型文本回答生成领域。解决了基于现有KV缓存驱逐方法的大语言模型回答方法,存在回答质量低的问题。本发明使用了草稿回答的信息,使得保留下来的小部分KV缓存(K2和V2)更重要,并且获取保留下来的KV缓存(K2和V2)的过程中引入了注意力分数,使得信息考量更为全面,模型生成会得到更为准确的回答。本发明主要应用在大语言模型针对文本问题的回答中。
技术关键词
文本 大语言模型 答案 存储设备 注意力 驱逐方法 回答系统 计算机程序产品 处理器 序列 矩阵 分词 参数 编码
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号