摘要
本发明提供了一种优化小型模型中代码思维链生成的方法,属于计算机领域。解决了代码生成任务中在资源受限环境下难以利用大语言模型生成高质量思维链的技术问题。其技术方案为:包括以下步骤:S1:利用三个高性能的大型语言模型作为教师模型以构建数据集;S2:利用词汇剪枝技术作为参数减少策略优化基础模型参数;S3:利用分治策略分别训练子模型并合并后微调,得到COTTON_lite模型;S4:通过将COTTON_lite模型部署在单GPU硬件上以生成高质量思维链。本发明的有益效果为:本发明提出的方法仅使用0.38B参数的模型,高质量生成思维链指导代码生成。
技术关键词
大语言模型
资源受限环境
数据
训练语料库
分治策略
剪枝技术
基础
教师
频率
标记
高性能
参数
训练集
样本
有效性
阶段
格式
机制
定义