一种基于注意力混合的语言模型持续学习方法

一种基于注意力混合的语言模型持续学习方法，旨在为一系列任务学习特定的LoRA专家模块，使模型能够持续不断地从不同任务中高效学习知识。该方法的核心在于精心设计了一种注意力机制，将其作为知识混合模块，以此来自适应地整合每个LoRA的信息。借助这一注意力机制，模型能够筛选并有效利用这些独特价值，降低了不同LoRA之间相互负作用的风险，从而避免灾难性遗忘的产生。此外，本发明在学习过程中引入L1范数。L1范数的加入使得注意力向量更加稀疏，促使模型在众多LoRA中倾向于选择与当前任务高度相关的部分，而非不加区分地将所有LoRA聚集并加权。这一优化进一步减少了相互干扰带来的负面影响，显著提升模型的泛化能力和学习效果。