基于批处理技术的多用户协同推理延迟优化方法及装置

本申请涉及延迟优化技术领域，特别涉及一种基于批处理技术的多用户协同推理延迟优化方法及装置，其中，方法包括：获取多个用户的推理任务，并将推理任务分割成多个子任务；通过目标迭代遍历算法遍历多个子任务的分割点，以找到多个子任务的最优任务分割点，并基于最优任务分割点将多个子任务划分成服务器推理子任务和本地推理子任务；基于实际宽带和能量约束条件，计算服务器推理子任务和本地推理子任务的最小总完成时间，生成多个用户协同推理任务的延迟优化策略。本申请可以减少任务处理延迟，有效提升多用户协同推理的系统性能，降低用户设备的能耗，具有较高的适用性和鲁棒性，为边缘计算在物联网和人工智能领域的应用提供了有力支持。