分离式架构LoRA模型训练方法

本发明涉及机器学习模型训练技术领域，公开了分离式架构LoRA模型训练方法。该方法实时获取初始训练数据集并提取初始特征序列，待训练LoRA模型包含多个分离式模块。从初始特征序列中提取交互特征，基于此根据不同模块的训练数据分辨率生成精细程度不同的模块，得到多粒度特征分布。分析训练序列得到训练载荷谱，基于此计算分离式模块的梯度分布，得到梯度状态数据。再根据梯度状态数据识别参数更新次数，结合模型更新规则得到剩余更新量，进而得到最终训练参数。该方法还包括响应分析指令得到目标模块的梯度分析结果等步骤。此方法能提升模型训练效果和适应性。