基于动态稀疏化的大模型增量训练方法及系统

本发明属于模型训练技术领域，具体涉及基于动态稀疏化的大模型增量训练方法及系统。方法包括：S1，采用多维度的评估方法，对大模型的参数重要性进行评估，反映参数对大模型性能的贡献；S2，采用自适应的结构调整方法，对大模型结构进行动态稀疏化控制；S3，通过构建容量可调的经验回放缓冲池以及提出多目标损失函数，对大模型进行增量训练管理；S4，采用混合精度量化策略，对大模型进行模型压缩优化。本发明具有能够通过实时评估模型参数的重要性，动态调整网络结构，从而在保证模型性能的同时实现高效训练的特点。