基于MOE场景的数据均衡分配方法、电子设备及存储介质

本发明涉及芯片设计技术领域，特别是涉及基于MOE场景的数据均衡分配方法、电子设备及存储介质。根据所述混合专家模型MOE中的专家总数量G、每次迭代处理的训练文本的数据序列长度U和处理每个词元的专家分配数量Q计算每个专家处平均分配词元的平均数据量avg，根据所述avg获取每个专家分配词元的上限阈值th0。获取每个专家分配词元的实际数据量M，根据M和th0制定的调整策略将每个专家分配的目标词元的数据量调整为th0，解决了计算和通信不均衡的问题。