一种基于稀疏矩阵的轻量化持续微调方法

本发明公开一种基于稀疏矩阵的轻量化持续微调方法，属于计算机视觉技术领域。本发明使用稀疏矩阵和矩阵分解技术，对微调所需的稀疏矩阵进行低秩分解，构造共享权重矩阵和持续学习专业权重矩阵，进而完成对多个下游数据集的微调训练。本发明能够提高各种通用的大模型在下游数据集上的性能，且具有通用性，不依赖与特定的网络架构，适用于当前所有的视觉、语言和多模态大模型，方法简单方便，能够在保留大模型泛化和通用能力的基础上，有效提高在下游数据上的精度。