摘要
一种针对大语言模型的数学推理训练集的生成方法包括:获取数学领域开源数据集;为开源数据集中的数学问题设计文字提示;为开源数据集中的每个数学问题生成期望输出程序:将开源数据集中的每个数学问题分别和文字提示输入至闭源大语言模型中得到每个数学问题对应的期望输出程序;利用外部解释器运行期望输出程序,若运行结果正确,则将当前数学问题和其对应的期望输出程序加入至训练集中;若运行结果错误,则舍弃当前数学问题。用本方法生成的训练集对开源大语言模型进行指令微调,以此提升开源大语言模型解决各种数学领域问题的能力,缩小与闭源大语言模型之间的差距。
技术关键词
大语言模型
数学
生成方法
程序
语言模型修改
数据
答案
指令
格式
变量
定义