一种大语言模型参数的微调训练方法、系统及介质

AITNT
正文
推荐专利
一种大语言模型参数的微调训练方法、系统及介质
申请号:CN202410905584
申请日期:2024-07-08
公开号:CN119067171A
公开日期:2024-12-03
类型:发明专利
摘要
本发明公开了一种大语言模型参数的微调训练方法、系统及介质,涉及自然语言处理技术领域,包括设置调整数据,对调整数据进行划分;计算模型的准确率,输出初始准确率;对初始语言模型进行部分参数冻结,进行模型训练,输出微调语言模型;计算模型的准确率,输出调整准确率;对调整准确率以及初始准确率进行分析,进行再训练处理或输出调整完成信息;本发明用于解决现有技术中因对模型架构分析存在不足,无法准确进行部分参数的微调,在全微调时需要提供足够的内存和计算预算,导致微调的效率以及适用性较低的问题。
技术关键词
大语言模型 数据 参数 模型训练模块 标记 自然语言 训练系统 传播算法 定义 介质 内存 处理器
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号