摘要
本发明公开了一种混合专家模型的部署方法、装置、设备、介质及产品,涉及人工智能技术领域,通过对混合专家模型进行预部署,以监测基于混合专家模型执行推理计算任务时混合专家模型中的专家网络的激活状态参数,从而确定专家网络在实际执行推理计算任务时的激活需求;根据专家网络的激活状态参数和计算节点的资源状态信息,计算将专家网络部署至计算节点后计算节点执行推理计算任务时的计算成本参数,据此求解计算成本最小化的专家网络的部署位置,得到满足实际推理计算需求且成本较低的混合专家模型部署方案,解决了相关技术中在异构计算系统中部署混合专家模型时成本较高的问题,提高了异构计算系统的资源利用率。
技术关键词
资源状态信息
网络部署
异构计算系统
参数
非易失性存储介质
复杂度
存储计算机程序
人工智能技术
节点更新
计算机程序产品
处理器
电子设备
模块
运维
存储器
数据