密集语言模型稀疏升级方法及稀疏语言模型文本处理方法

本发明涉及一种密集语言模型稀疏升级方法及稀疏语言模型文本处理方法，属于人工智能技术领域。本发明通过利用任务表征和上下文表征来初始化路由网络的权重，实现在不增加计算成本的前提下将密集语言模型高效转化为稀疏激活模型，不仅提高了模型的计算效率，还赋予了各个专家网络针对不同任务的专业化处理能力，在保持计算资源消耗基本不变的前提下，显著提升模型在复杂推理、多任务处理等方面的性能表现。