请求处理方法、装置、电子设备和存储介质

请求处理方法、装置、电子设备和存储介质。本公开提供了一种请求处理方法，涉及人工智能技术领域，尤其涉及大模型、人工智能加速卡和芯片技术领域。具体实现方案为：根据用于至少一个待处理请求的目标规模信息，确定目标比例，目标规模信息是根据待处理请求之前的历史请求的历史规模信息确定的；在多个候选设备中确定用于至少一个待处理请求的至少一个目标预填充设备和至少一个目标解码设备，目标预填充设备的数量与目标解码设备的数量之间的数量比例与目标比例一致。本公开还提供了一种请求处理装置、电子设备和存储介质。