大模型推理优化方法、装置、计算机设备及介质

本发明涉及大模型技术领域，公开了大模型推理优化方法、装置、计算机设备及介质，该方法包括：接收当前输入请求，并判断当前输入请求是否存在于端侧缓存中；如果当前输入请求存在于所述端侧缓存中，则确定所述端侧缓存中与当前输入请求对应的输出结果为基于当前输入请求推理计算应得的输出结果；如果当前输入请求不存在于所述端侧缓存中，则利用云端的大模型基于当前输入请求进行推理计算得到相应输出结果，同时将当前输入请求及相应输出结果存储至所述端侧缓存中。可见，本方案能够有效提高输出稳定的同时，一定程度上避免大模型严重重复浪费。