基于低秩分解和奇异值分解的协同参数微调方法、介质及设备

本发明公开了一种基于低秩分解和奇异值分解的协同参数微调方法、介质及设备。该方法通过引入一种灵活的架构，解决了传统LoRA方法在多任务学习和有限样本条件下的适应性问题。备份那么通过设计三种协同策略(完全协同、随机协同和启发式协同)，在不同计算消耗下优化了LoRA方法中的矩阵A和B的协作，避免了固定结构设计带来的性能瓶颈，从而提高了模型在多任务学习中的性能。此外，为了加速收敛并提高性能，本发明将高效的奇异值分解初始化方案扩展到架构中。与传统方法相比，本发明的自适应协同策略在计算效率和任务适应性方面具有显著优势，能够有效应对大规模任务和稀缺数据的挑战，具有优化效果好、泛化性能强等优点。