基于智能计算中心的算力实现模型推理搜索的方法及装置

本申请提供一种基于智能计算中心的算力实现模型推理搜索的方法及装置，方法包括：将用户的请求输入至大语言模型中，得到多个子步骤并送入执行器中执行，基于模型对其进行打分，选取得分最高的子步骤，将其和请求输入至模型中，得到多个新的子步骤并送入执行器中执行，基于大语言模型和得分最高的子步骤的得分，对多个新的子步骤分别进行打分，得到每个新的子步骤对应的得分结果；重复执行生成子步骤、送入执行器中执行以及打分的步骤，直至新的子步骤的得分结果大于预设阈值，或者，直至确定出由得分最高的子步骤所形成的解决方案有效，并将其作为目标解决方案，由此，可以有效地提高解决方案的生成效率和质量。