用于大语言模型的推理工程的方法、装置、设备、介质及程序产品

本公开提供一种用于大语言模型的推理工程的方法、装置、设备、介质及程序产品，涉及人工智能技术领域，所述方法包括：根据参与第一目标任务的矩阵的维度，在预先设置的多个矩阵运算算子中确定要执行第一目标任务的目标矩阵运算算子，所述第一目标任务为大语言模型的推理工程中的一个矩阵运算任务，参与所述第一目标任务的所述矩阵为所述矩阵运算任务要运算的矩阵；利用所述目标矩阵运算算子执行所述第一目标任务，得到第一任务结果，所述第一任务结果用于形成所述推理工程的输出信息。本公开能够根据推理工程的实际运算需求选择合适的矩阵运算算子，以提高相关硬件对大语言模型的推理效率，从而有效利用硬件的推理资源。