一种基于动态top-k选择专家模型的文本常识推理方法

本发明主要提出了一种基于动态top‑k选择专家模型的文本常识推理方法，包括数据集构建方法、模型训练方法以及模型推理方法，使得模型推理过程中能够达到更低的显存使用量和更好的模型输出效果，让模型在更低的资源消耗下表现得更加智能。具体而言，需要先获取不同的文本数据并加以分析、识别形成数据集；在训练模型时额外指定loss使得模型能够实现负载均衡等能力；使用强化学习的思想确定每一层需要调用的专家数目(k值)；最后基于该动态分配专家的方法设计模型推理步骤。