模型推理方法和装置、电子设备、计算机可读存储介质

本公开提供了模型推理方法和装置、电子设备、计算机可读存储介质，涉及人工智能技术领域，尤其涉及模型推理、大数据等技术领域。具体实现方案为：接收模型服务调用请求，所述模型服务调用请求用于调用模型推理；所述模型推理包括在线模型推理和离线模型推理；在所述模型服务调用请求为调用在线模型推理的情况下，调用预先生成的在线推理程序包完成在线模型推理。在所述模型服务调用请求为调用离线模型推理的情况下，调用预先生成的离线推理程序包完成离线模型推理。