一种基于空闲时间预计算的大语言模型推理方法、系统、装置及介质

本申请涉及人工智能技术领域，涉及一种基于空闲时间预计算的大语言模型推理方法、系统、装置及介质。所述方法包括：在用户查询到达前且无实时查询处理的空闲时间阶段，获取与潜在用户查询相关的上下文信息；利用大型语言模型对所述上下文信息执行预计算处理，生成增强上下文表示；在测试时间阶段接收用户查询；基于所述增强上下文表示和用户查询，利用大型语言模型执行测试时间计算以生成响应。本发明通过在用户查询前利用空闲时间预计算上下文，显著减少了测试时间所需的计算量，提高了计算资源的利用效率。