大模型推理引擎的参数调优方法及装置

本说明书实施例披露一种大模型推理引擎的参数调优方法及装置，其中大模型推理引擎用于运行目标大模型以处理目标应用发起的推理请求。该方法包括：首先，获取多个观测样本，其中各观测样本包括一组配置参数，以及根据该组参数配置所述大模型推理引擎后，对所述目标应用的历史推理请求进行重放而确定的引擎性能指标；然后，利用所述多个观测样本初始化贝叶斯优化BO算法中的观测数据，以及，将所述BO算法中的目标函数定义为配置参数和引擎性能指标之间的映射关系，从而执行所述BO算法，得到使引擎性能指标发生优化的若干组配置参数。如此，可以实现利用BO算法适应不同上层应用关注的不同优化目标。