MoE中专家的资源分配方法、装置、存储介质及设备

本申请公开了一种MoE中专家的资源分配方法、装置、存储介质及设备，属于人工智能技术领域。监控MoE中各个专家的热度等级；目标专家的热度等级升高时，获取目标专家在第一GPU节点上绑定的第一vGPU实例的资源描述信息；若根据资源描述信息确定能够调整第一vGPU实例的资源，则在第一GPU节点上，根据变化后的热度等级扩展第一vGPU实例的资源；若根据资源描述信息确定不能调整第一vGPU实例的资源，则在第一GPU节点或第二GPU节点上为目标专家绑定第二vGPU实例，并为第二vGPU实例分配资源。本申请能达到根据专家的热度等级联动调整资源的目的，提高了资源利用率，且具备实时性、弹性和推理吞吐能力。