一种大语言模型的管理系统

本发明公开了一种大语言模型的管理系统，所述大语言模型的管理系统包括配置模块用于响应于用户触发操作，基于所述用户触发操作得到配置信息，并将所述配置信息发送到至少一个集群中；其中，所述配置信息包括大语言模型的部署信息以及模型信息；所述集群用于接收所述配置信息，基于所包含的引擎服务对所述配置信息进行配置处理后得到对应的大语言模型；所述日志查询模块用于接收查询请求，以基于所述查询请求查询所述至少一个集群中的调用记录信息。本系统通过对多集群的管理操作，实现大语言模型的多场景推理服务应用的灵活性和适配性。