摘要
本申请公开智能体应用的运行配置确定方法、装置以及存储介质,属于人工智能技术领域,包括针对部署在目标设备集群中的任一型号的目标设备确定第一参数的推荐值、第二参数的推荐值和第三参数的推荐值,第一参数指示智能体部署的张量并行度,第二参数指示智能体被分配的显存比例,第三参数指示智能体同时运行的最大请求数;针对运行于目标设备的每一智能体确定副本数推荐值;基于第一参数的推荐值、第二参数的推荐值、第三参数的推荐值和副本数的推荐值,以最大化单位目标设备中智能体处理的请求数量为约束,确定运行配置参数集。本申请实施例实现从整体全局的角度的对智能体的运行配置的科学管理。
技术关键词
参数
副本
计算机设备
计算机程序产品
集群
指令
处理器
人工智能技术
对象
可读存储介质
存储器
模块
数据