一种基于自动适配和动态优化的模型推理方法及系统

本发明属于机器学习技术领域，公开了一种基于自动适配和动态优化的模型推理方法及系统。所述方法包括：发送第一请求至硬件配置模块以基于目标通信通道实现目标设备与动态库的交互通信；其中，硬件配置模块包括若干通信通道，通信通道基于设备属性与操作属性和待接入设备一一对应；所述第一请求包括目标设备的设备属性及操作属性；发送第二请求以加载目标驱动插件，进而以实现目标模型在目标设备上的加载；其中，目标驱动插件由目标设备对应的厂商基于预定义的接口规范编写构建；基于资源分配策略为目标模型进行资源配置，并基于多流并行策略及图优化技术进行动态优化以实现目标模型的模型推理。本发明具有设备兼容性强、资源配置更优的技术优势。