模型部署方法、装置、电子设备及可读存储介质

AITNT
正文
推荐专利
模型部署方法、装置、电子设备及可读存储介质
申请号:CN202410862868
申请日期:2024-06-28
公开号:CN118819774A
公开日期:2024-10-22
类型:发明专利
摘要
本发明提供了一种模型部署方法、装置、电子设备及可读存储介质,获取模型的历史调用序列;历史调用序列根据各个模型在预设周期内的调用时间点的排序得到;遍历历史调用序列,若历史调用序列中待调用模型的调用时间点小于或等于运行时间,则待调用模型进入调度队列等待;运行时间的初始值为零,按照已调用模型的执行时间累加;将调度队列中所有待调用模型按照模型的优先级顺序排序进行调用,直到遍历完成,得到模型的实际调用序列;根据实际调用序列以及高优先级的模型优先按照模型的调用时间点调用的规则,确定实际调用序列中目标模型的切分时间点;按照切分时间点部署目标模型的调度方式。通过配置切分时间点保证优先级高的模型优先得到资源。
技术关键词
序列 模型部署方法 队列 时间段 周期 电子设备 可读存储介质 处理器 程序 指令 模块 存储器 基准 资源
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号