专家并行训练耗时预测方法、装置、设备、介质及产品

本发明公开了专家并行训练耗时预测方法、装置、设备、介质及产品，涉及人工智能技术领域，通过将混合专家模型训练所采用的训练样本集进行多次采样得到的训练样本分别输入混合专家模型以监测混合专家模型的专家网络的激活状态参数，从而对专家并行训练中专家网络的激活情况进行准确预测；根据专家网络的激活状态参数和异构计算系统的计算节点的资源状态信息，计算计算节点执行迭代训练的耗时预测结果，并根据计算节点的耗时预测结果确定异构计算系统执行迭代训练的耗时预测结果，实现对混合专家模型的专家并行训练的耗时进行准确预测，解决相关技术中模型训练耗时预测方案无法准确预测混合专家模型的专家并行训练的耗时的问题。