摘要
本发明公开了一种大语言模型参数的微调训练方法、系统及介质,涉及自然语言处理技术领域,包括设置调整数据,对调整数据进行划分;计算模型的准确率,输出初始准确率;对初始语言模型进行部分参数冻结,进行模型训练,输出微调语言模型;计算模型的准确率,输出调整准确率;对调整准确率以及初始准确率进行分析,进行再训练处理或输出调整完成信息;本发明用于解决现有技术中因对模型架构分析存在不足,无法准确进行部分参数的微调,在全微调时需要提供足够的内存和计算预算,导致微调的效率以及适用性较低的问题。
技术关键词
大语言模型
数据
参数
模型训练模块
标记
自然语言
训练系统
传播算法
定义
介质
内存
处理器