摘要
本发明公开了一种语言模型的训练方法,包括:获取初始训练数据和预训练语言模型;其中,所述初始训练数据包括第一训练数据和第二训练数据,第一训练数据包括指令训练文本和对应的回复训练文本,第二训练数据包括第一训练文本和多个关联训练文本,所述多个关联训练文本与所述第一训练文本是相关关联的;基于所述初始训练数据对预训练语言模型进行训练。通过训练使语言模型具备了思维联想的能力,这样训练得到的语言模型就可以根据对话内容输出更有意义的答复内容。
技术关键词
文本
生成方法
数据
预训练语言模型
语言模型训练方法
关键词
训练装置
指令
多轮对话
程序
生成装置
输入模块
输出模块
处理器
电子设备
图谱
存储器
偏差
系统为您推荐了相关专利信息
词语
贝叶斯模型
平滑算法
拉普拉斯
相似性计算技术
隔音
玻璃表面缺陷
玻璃缺陷检测
有效值
系数测定方法
交通流预测方法
路段
ELM算法
节点特征
拥堵指数