模型推理请求的调度方法及装置、设备和介质

本公开提供了一种模型推理请求的调度方法及装置、设备和介质，涉及人工智能技术领域，尤其涉及大模型和分布式模型服务技术领域。实现方案为：基于待调度的模型推理请求，确定待编码的至少一个第一数据项；基于第一数据索引和至少一个第一数据项确定每个模型实例对应的缓存命中率，第一数据索引包括：第二数据项是基于多个模型实例各自缓存的多个历史数据项执行去重处理确定的多个第二数据项；以及每个第二数据项对应的数据标识，每个第二数据项对应的数据标识包括多个子标识，每个子标识指示该子标识对应的模型实例是否缓存该第二数据项；基于每个模型实例对应的缓存命中率确定目标模型实例；以及将模型推理请求调度到目标模型实例上执行推理。