基于模块融合的大模型能力扩展方法及系统

本发明公开一种基于模块融合的大模型能力扩展方法及系统，属于人工智能技术领域。本发明通过引入LoRA模块和融合模块，优化了大规模预训练模型在引入新任务时的能力扩展，保持了较高的微调和推理效率；通过任务数据的抽样重放，有效缓解了不同任务数据质量差异带来的问题，降低了适应新任务的难度。此外，由于本发明设计的模型结构不含有非线性层，因此多个LoRA的合并等效于参数矩阵的乘积运算，该过程可以在不增加大量计算开销的情况下完成能力扩展。