一种基于稳定性边缘的大模型优化加速方法及其系统

本申请公开了一种基于稳定性边缘的大模型优化加速方法，方法包括：输入用于图像分类的神经网络模型的参数与样本集，通过矩阵特征值计算方法计算神经网络海塞矩阵中高特征值及其对应的特征向量；基于高特征值判断是否使用曲率加速，计算并更新曲率加速矩阵；将曲率加速矩阵作用于动量法的指数移动平均，得到神经网络模型的参数更新值，实现图像分类模型的训练过程的加速。本发明方法能够加速图像分类模型的训练过程，并提升大语言模型在预训练过程中对人类语言的处理效率。