摘要
本申请公开了用于文本纠错的大语言模型的训练、纠错方法及相关装置,涉及文本纠错领域,包括:获取错误正确句子对集合,错误正确句子对集合包括多个子集合,每个子集合包括一个错误文本和对应的至少一个正确文本,不同子集合内的错误文本不同;针对每个子集合包含的错误文本和对应的每个正确文本,为该错误文本和该正确文本分别标注正向纠错偏好标签和负向纠错偏好标签,得到第一训练语料;基于第一训练语料,采用预设的联合损失对初始大语言模型进行偏好调优训练,得到用于文本纠错的大语言模型。本申请基于错误文本及对应的每个正确文本均生成训练语料,避免了浪费正确文本,本申请还能够缓解模型过拟合,提高了模型泛化性能及纠错的准确性。
技术关键词
大语言模型
标签
文本纠错方法
计算机可读指令
模型训练模块
电子设备
计算机存储介质
纠错装置
存储计算机程序
纠错模块
计算机程序产品
判别模块
训练装置
处理器
存储器
系统为您推荐了相关专利信息
图像生成模型
图像生成方法
多尺度特征金字塔
变换器
深度图
数据处理模型
对象
计算机可执行指令
数据处理方法
样本
食材识别
模型算法
监督深度学习
特征提取器
标签
无标签样本
监督学习方法
特征融合技术
融合特征
特征提取网络