一种基于3D近内存处理的混合专家模型的混合并行和动态调度方法

本发明提供一种基于3D近内存处理的混合专家模型的混合并行和动态调度方法，包括步骤：建立联合性能分析模型；离线线性规划优化专家分配；贝叶斯优化物理节点映射；在线推理；在线动态优先级检测；效率最优的专家预广播和通信友好的词元分发策略。本发明通过离线线性规划实现节点均衡优化，显著改善3D NMP计算负载不均衡问题；结合链路平衡的贝叶斯优化映射策略，增大通信加速比，减少片上网络NoC链路拥塞；动态调度策略通过计算负载预测和预广播机制，适应实时推理中专家激活的动态变化。本发明通过离线自动混合并行映射算法与在线动态调度策略的协同，有效平衡了计算负载与通信开销，显著提升了混合专家模型MoE在3D近内存处理架构上的推理效率。