一种数据平面旁路上的推理引擎系统

本发明公开了一种数据平面旁路上的推理引擎系统，包括：输入模块、推理引擎模块和输出模块；工作过程中，输入模块复制数据平面流量镜像，将流量镜像传输给推理引擎模块；推理引擎模块对数据平面流量镜像进行推理，得到推理结果集；由输出模块将推理结果集输出给数据平面；本发明通过在数据平面旁路上设置推理引擎系统，独立于数据平面进行推理的工作方式实现了可以灵活支持多种NN推理模型，以及实现高吞吐量、低延迟且不影响原有网络数据平面的功能与性能的有益效果。