一种边缘网络分布式AI并行推理系统

本发明公开了一种一种边缘网络分布式AI并行推理系统，包括：任务与资源的分配，根据服务对频率和延迟的敏感度或资源消耗进行分类，请求或服务级别为不同类型的任务采用不同的并行策略，分布式请求处理，应用分配策略，对用户请求进行自定义调度，采用贪婪策略来调度用户请求，状态感知的服务放置，获取边缘网络的集中信息，包括每个服务器的资源、期间T的请求到达以及当前处理情况，采用子模函数定义方法对有保证下界的问题进行求解，步骤四：信息同步和时间粒度，服务器形成一个环形拓扑。本发明在请求级别和服务级别采用不同的分配策略，针对不同的任务类别量身定制，同时在边缘服务器和边缘设备之间实现优化的任务资源分配。