一种语言模型推理方法、装置、计算机设备及存储介质

本申请公开了一种语言模型推理方法、装置、计算机设备及存储介质，涉及计算机技术领域，包括实时监控语言模型推理过程中的推理性能信息并可视化显示；获取推理性能信息类型，基于推理性能信息类型以及推理性能信息确定推理评估体系，确定推理评估体系中的各个主评估指标的综合评分，进行更新推理策略，推理策略包括多个推理请求的数量以及处理顺序，解决了同时处理的推理请求数量过多造成的系统性能下降的技术问题，达到了提高推理准确性、稳定性的技术效果。