基于混合专家的模型推理方法和装置

本申请提供一种基于混合专家的模型推理方法和装置，涉及人工智能技术领域，包括：将特征向量输入注意力混合专家模块，由所述注意力混合专家模块将所述特征向量分解为多个特征子向量，并基于各个特征子向量确定对应的查询向量投影矩阵进行注意力计算，得到各个注意力头输出的第一向量；将所述第一向量输入神经网络混合专家模块，得到各个神经网络输出的第二向量；基于所述第二向量，确定所述特征向量对应的模型推理结果。本申请提供的方法和装置，充分利用了输入的特征向量中的信息和各个专家中的信息，提高了大模型的推理效果。