一种多用户多出口DNN推理分区与任务调度方法

AITNT
正文
推荐专利
一种多用户多出口DNN推理分区与任务调度方法
申请号:CN202411635248
申请日期:2024-11-15
公开号:CN119599127A
公开日期:2025-03-11
类型:发明专利
摘要
一种多用户多出口DNN推理分区与任务调度方法,在每个用户设备和边缘服务器上都部署了经过训练的多出口DNN模型,在一段时隙内,任务到达用户设备满足泊松分布并被存储在用户设备的任务队列中;以策略可行性区间为约束,以任务的出口点、分区点以及调度决策为优化变量,建立以最大化一段时隙内任务推理的总完成率和推理准确率为目标的优化问题P;将问题解耦为服务器调度优化问题P1,建立服务器任务的图模型,使用双贪心算法求解问题P1;再将问题简化为P2,建立马尔可夫决策过程,使用多智能体强化学习算法求解最优策略。本发明适用于多用户设备进行多出口DNN推理分区,能有效提高一段时间内的任务完成率和推理准确率。
技术关键词
服务器 多智能体强化学习 任务调度方法 分区 DNN模型 贪心算法 决策 多用户 策略 队列 数学模型 方格 变量 网络 分类器 分支 数据 终端
系统为您推荐了相关专利信息
1
一种基于分布式控制策略的风电场快速频率响应方法
分布式控制策略 频率响应 模糊聚类分析方法 分区模型 分类阈值
2
面向边缘设备的异构数据联邦学习动态批处理训练方法
设备向服务器注册 模型更新 动态 异构 实时数据
3
一种核电DCS虚拟体构建方法、装置、设备及存储介质
核电DCS系统 体构建方法 软件运行环境 虚拟建模技术 仿真建模
4
一种手推车智能收集机器人调度方法及系统
收集机器人 智能行李 手推车 机器人控制模块 分层强化学习
5
一种基于参数安全转换的隐私计算协议复合方法
客户端 参数 模型更新 服务器 同态加密机制
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号