一种针对深度学习算法的动态调用多模型的方法及服务架构

本发明公开了一种针对深度学习算法的动态调用多模型的方法及服务架构，方法包括客户端通过标准AP I接口向调度服务发送请求；调度服务接收到请求后，解析提取请求的关键信息生成任务队列并选择Server服务器；调度服务实时获取Agent服务提供的状态数据，根据Server服务器的负载情况进行任务分配；调度服务将选定的任务信息存入数据库，并在任务状态表中标记“待处理”状态；Server服务器收到调度任务后，调用模型管理服务加载指定的推理模型；S6、当推理任务执行完毕后，推理服务池将结果通过回调机制通知调度服务。优点是：提高深度学习任务的处理能力和效率，通过动态调用多个模型来满足不同任务的需求，同时优化资源使用和保证系统的可扩展性。