一种基于孪生大语言模型交织记忆的参数高效微调方法、系统及应用

本发明公开了一种基于孪生大语言模型交织记忆的参数高效微调方法，包括如下步骤：步骤一、预先构建两个共享相同结构和预训练参数的大语言模型；其中一个大语言模型保持原始参数保持冻结，另一个大语言模型使用参数高效微调方法微调；步骤二、利用步骤一中构建获得的两个大语言模型分别处理给定的输入，分别生成不同的记忆；所述记忆是指所述大语言模型生成的最后一层隐藏状态；步骤三、引入孪生大语言模型交织记忆机制，调节冻结原始参数的大语言模型和使用参数高效微调方法微调的大语言模型的记忆对生成下一个词元的贡献。本发明不仅在下游任务上实现了卓越的性能，还有效地缓解了灾难性遗忘问题，并且无需增加额外的微调时间。