一种基于二阶矩阵优化的大模型训练方法

本发明公开了一种基于二阶矩阵优化的大模型训练方法，属于深度学习模型训练技术优化领域，一种基于二阶矩阵优化的大模型训练方法包括以下步骤：S1.分解二阶矩阵为行列向量，滑动平均与分布式分块降低存储；S2.行梯度聚合结合历史衰减因子生成统计行向量；S3.列方向分块分布式统计并跨设备同步生成列向量；S4.行列向量外积构建低秩矩阵，噪声抑制提升估计精度；S5.动态稀疏采样，初期高密度聚焦，关键层稳定采样率；S6.采样点执行时序衰减更新，异步计算提升资源利用率；S7.未采样区域高斯核平滑邻域值补偿覆盖间隙；S8.融合低秩估计与稀疏数据，自适应权重平衡全局精度；有益效果包括降低显存占用、提升分布式计算效率及平衡训练精度与速度。