多模型服务调度方法及装置

本申请提供一种多模型服务调度方法及装置，涉及人工智能服务调度技术领域，解决了现有技术服务调度性能较差的技术问题。该方法包括：构建多模型服务和代理系统，将模型服务的信息记录同步至代理服务中；接收来自客户端的模型请求消息；模型请求消息用于请求调用目标模型；对模型请求消息进行验证处理，并在验证通过后获取目标模型对应的目标端口组；基于工作状态从目标端口组中选择目标端口，并将基于目标端口生成的目标接口作为目标模型的请求地址；对目标端口执行加锁操作，并基于目标模型的请求地址进行模型调用，在获取目标模型的返回结果后对目标端口执行解锁操作。本申请用于模型服务调度过程中。