摘要
提出了一种预训练语言模型微调方法及其相关应用。该方法包括:根据下游任务的训练样本构造分类训练样本;使用所述分类训练样本调整判断模型的参数;获取多个大语言模型对无标注查询的多个输出;使用经调整的判断模型从多个所述输出中确定与所述无标注查询匹配的输出;使用所述无标注查询和所述匹配的输出构造下游任务的辅助训练样本;以及使用所述辅助训练样本调整所述预训练语言模型的参数。本公开提供了一种在少量标注数据的条件下借助判断模型对多个大语言模型的输出进行筛选,进而构造辅助训练样本并由此实现大模型效果增强的方法。
技术关键词
预训练语言模型
大语言模型
微调方法
非暂时性机器可读存储介质
计算机程序指令
少量标注数据
参数
处理器
排序模型
计算机程序产品
样本
自然语言
电子设备
答案
文本
存储器
系统为您推荐了相关专利信息
代码结构
大语言模型
多模态
生成代码
文本编码器
机器人导航方法
路径搜索算法
栅格地图
场景
智能机器人导航
医疗知识图谱
影像诊断报告
融合特征
样本
注意力机制