一种基于动态适配器的大语言模型增强方法及系统

本发明提供一种基于动态适配器的大语言模型增强方法及系统，首先，对预训练的大语言模型的主干网络进行扩展，增加多个专家适配器，并在其中插入门控网络。然后，根据输入的令牌，利用门控网络动态地路由选择并激活特定的专家适配器。接着，采用融合适配器切换算法，该算法将被设计用于将被激活的专家适配器的参数合并到主干网络的原始参数中，从而得到融合后的主干网络。最后，使用所述融合后的主干网络，根据输入的令牌执行大语言模型增强的前向计算，以生成解码结果。本发明的融合适配器切换算法能够减少计算开销，显著降低了推理延迟；并且动态适配器集成，增强了大语言模型的性能和效率。