预训练语言模型微调方法及其相关应用

AITNT
正文
推荐专利
预训练语言模型微调方法及其相关应用
申请号:CN202410814326
申请日期:2024-06-21
公开号:CN118863053A
公开日期:2024-10-29
类型:发明专利
摘要
提出了一种预训练语言模型微调方法及其相关应用。该方法包括:根据下游任务的训练样本构造分类训练样本;使用所述分类训练样本调整判断模型的参数;获取多个大语言模型对无标注查询的多个输出;使用经调整的判断模型从多个所述输出中确定与所述无标注查询匹配的输出;使用所述无标注查询和所述匹配的输出构造下游任务的辅助训练样本;以及使用所述辅助训练样本调整所述预训练语言模型的参数。本公开提供了一种在少量标注数据的条件下借助判断模型对多个大语言模型的输出进行筛选,进而构造辅助训练样本并由此实现大模型效果增强的方法。
技术关键词
预训练语言模型 大语言模型 微调方法 非暂时性机器可读存储介质 计算机程序指令 少量标注数据 参数 处理器 排序模型 计算机程序产品 样本 自然语言 电子设备 答案 文本 存储器
系统为您推荐了相关专利信息
1
一种基于多模态的代码结构融入大模型方法及系统
代码结构 大语言模型 多模态 生成代码 文本编码器
2
一种基于少样本学习的基因组变异检测方法及系统
基因组变异检测方法 样本 记忆 实体 解码模块
3
基于大语言模型的地址检测和处理方法、装置及介质
大语言模型 行政区划信息 列表 文本 处理器
4
一种基于大模型技术的建筑场景机器人导航方法
机器人导航方法 路径搜索算法 栅格地图 场景 智能机器人导航
5
医疗影像诊断报告生成方法、装置、设备、介质及产品
医疗知识图谱 影像诊断报告 融合特征 样本 注意力机制
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号