摘要
本申请公开了一种模型推理容器部署方法及装置。其中,该方法包括:获取云计算平台内第一深度学习模型的测试数据集;利用预训练的资源配置策略决策模型对第一深度学习模型的测试数据集进行分析,得到第一深度学习模型的目标资源配置策略,其中,资源配置策略决策模型是基于双深度Q学习算法训练得到,目标资源配置策略为使云计算平台内与第一深度学习模型的模型类型相同的所有深度学习模型的模型评分的平均值最高的资源配置策略;按照目标资源配置策略对第一深度学习模型的推理容器进行部署。本申请解决了相关技术采用静态资源配置方式部署模型推理容器难以适配模型的实时性能需求,导致计算资源浪费的技术问题。
技术关键词
深度学习模型
容器部署方法
信息熵
深度Q学习
指标
网络
资源配置方式
矩阵
平台
参数
图形处理器
贪心策略
元素
周期
计算机程序产品
样本
中央处理器