摘要
本申请公开了基于背景信息融合的大模型推理优化方法、装置、设备及介质,涉及人工智能领域,包括:确定与待处理任务相关的背景信息;背景信息包括待处理任务相关的用户交互记录信息、任务环境信息和领域知识信息;将背景信息和大模型的输入数据进行融合,得到目标信息;输入数据为用户端基于待处理任务向大模型输入的数据;基于目标信息、背景信息以及待处理任务的任务需求确定目标推理路径,以利用大模型和目标推理路径执行待处理任务并得到相应的推理结果;当待处理任务执行完毕后,确定与推理结果对应的反馈信息,并基于反馈信息调整大模型的参数,以优化大模型的推理过程。因此,本申请能够提升大模型的推理效率与精度。
技术关键词
参数
优化装置
数据
置信度阈值
信息检索
注意力机制
模块
可读存储介质
关键词
处理器
电子设备
存储器
计算机
矩阵
算法
精度