一种大语言模型系统及其请求响应方法

本发明公开了一种大语言模型系统及其请求响应方法，涉及大语言模型技术领域。该方法的具体实施方式包括：大语言模型系统包括预填充实例和解码实例，其中，预填充实例和解码实例分别部署于第一硬件和第二硬件上，第一硬件包括至少一个第一处理器，第二硬件包括至少一个第二处理器；第一处理器的算力和第一处理器的总数量根据预填充实例的负载特性确定，第二处理器的算力和第二处理器的总数量根据解码实例的负载特性确定，其中，第一处理器的总算力高于第二处理器的总算力。该实施方式实现了硬件资源的灵活配置以及对硬件资源的充分利用，降低了硬件成本。