混合专家系统的优化方法、计算机设备、可读存储介质和程序产品

本申请涉及一种混合专家系统的优化方法、计算机设备、可读存储介质和程序产品。MOE包含的多个专家分组部署于多个人工智能芯片内，方法包括：针对原始输入张量进行路由计算，得到路由计算结果；基于路由计算结果中的专家索引信息和专家权重信息确定每一专家对应的输入元素分组信息；以专家维度为并行维度，基于输入元素分组信息并行执行针对原始输入张量的重排操作，并以重排结果作为专家的输入信息，执行矩阵乘法累加运算后，以专家维度为并行维度，基于输入元素分组信息并行执行矩阵乘法累加运算结果的反重排操作，得到最终运算结果。采用本方法能够提高MOE推理性能。