摘要
本发明提供了一种面向高等教育创新创业项目的大语言模型训练方法,涉及大语言模型训练技术领域,包括:构建创新创业领域的专属数据集;使用通用大规模语料对模型进行初步预训练,并使用专属数据集对预训练的模型进行微调,得到第一任务优化模型;利用预设的任务要求对第一任务优化模型进行优化,得到第二任务优化模型;利用预设的评估指标对第二任务优化模型进行模型性能评估,得到评估结果;根据评估结果对第二任务优化模型的模型参数进行调整,得到最终训练好的大语言模型。本发明通过构建专属数据集,模型能够深入理解创新创业领域的专业术语、案例和方法论,从而生成更具针对性的内容,满足高等教育的需求。
技术关键词
语言模型训练方法
专属数据
大规模语料
门控循环单元
文本分类模型
全局特征提取
教育场景
高校创新创业
预训练语言模型
监督学习方法
特征信息提取
课程教材
自动化工具
关系
大语言模型
商业
报告
案例库