一种抑制大模型垂域微调过拟合的方法、装置及存储介质

本发明公开了一种抑制大模型垂域微调过拟合的方法、装置及存储介质，属于大模型微调与深度学习优化技术领域。本发明为解决在使用LoRA进行参数高效微调时可能面临的过拟合问题，主要采用引入随机掩码的低秩矩阵分解技术，并结合多次掩码采样进行模型集成。通过这种方法，能够在下游任务中，即使在数据量较少的情况下，有效提升模型的泛化能力，防止过拟合，同时保持模型的表达能力。与传统方法相比，本发明具有实现简单、高效且具有良好的泛化性能。