摘要
一种AI服务与微服务混合编排方法、装置、设备及存储介质,该方法包括:基于权衡服务时延和部署成本的思想确定每个服务图所需AI服务实例数以及每个服务图下各请求链中各类微服务实例数;将编排过程建立为马尔可夫决策过程,引入双时间尺度概念基于强化学习智能体按序进行系统中每个子服务图中每个请求子链的编排并不断实时更新边缘节点状态值,基于贪心策略异步部署子服务图对应的AI服务实例并更新每个请求的请求路由;通过收集编排策略的决策轨迹进行强化学习智能体的训练,不断更新智能体神经网络参数,最终实现全局最优的编排方案。
技术关键词
微服务实例
混合编排方法
强化学习代理
节点
混合编排装置
贪心策略
时延
编排设备
智能体神经网络
决策
双时间尺度
信息更新
资源
可读存储介质
轨迹
处理器
矩阵
程序