大模型参数的调度方法、推理方法、装置及电子设备

本申请提供一种大模型参数的调度方法、推理方法、装置及电子设备。方法包括：获取当前层transformer模块的输入特征；输入特征为上一层transformer模块输出的特征；通过当前层transformer模块对应的参数预测模型对输入特征进行分析，获得下一层transformer模块推理所需的目标专家模型；基于目标专家模型判断需要调度目标模型参数，则生成参数调度策略；根据参数调度策略将目标专家模型的目标模型参数从CPU内存调度至GPU内存。本申请通过参数预测模型获得下一层transformer模块推理所需的目标专家模型，并将目标模型参数从CPU调度到GPU，减少了对GPU内存的占用。