一种基于专家计算负载均衡调度的混合专家模型训练优化方法

本发明公开了一种基于专家计算负载均衡调度的混合专家模型训练优化方法，该方法首先预测当前迭代的全局专家负载数据，得到采样数据。其次设计多维性能感知的专家放置评估方法，通过将多维的通信与计算转化为统一的时延指标，实现搜索专家放置方案阶段的量化比较和决策。然后基于采样数据和专家放置评估方法，采用动态负载特征感知的专家分组搜索算法以及专家分组和资源感知的匹配算法，设计专家放置策略。最后基于专家放置策略，采用异步通信策略实施专家和优化器参数调度，完成训练优化。本发明通过提升设备间计算负载均衡性和异步的通信掩盖，减少同步等待，有效增强了混合专家模型训练效率与整体性能。