一种混合专家模型推理方法

本发明公开一种混合专家模型推理方法，属于深度学习(machine learning)领域。本发明通过自适应和基于敏感度的专家门控机制，动态调整不同输入和每一层所需激活的专家数量，具有基于敏感度分析的自适应专家选取、自适应专家预取与自适应专家缓存三个核心机制，可以优化混合专家模型推理性能。本发明在保持精度不下降的前提下，平均减少了25％的专家激活数量，显著提高了MoE推理的效率，特别适用于边缘设备等内存受限的环境，具有重要的应用价值和广泛的应用前景。