摘要
本公开实施例公开了一种模型训练方法、装置、电子设备及存储介质,该方法包括:获取样本文本对以及标注相关程度类别;基于样本文本对,构建用于提示对样本文本对进行文本相关程度预测的第一提示文本,将第一提示文本输入至第一大语言模型进行文本相关程度预测,得到样本文本对属于标注相关程度类别的预测概率,根据预测概率对第一大语言模型进行训练;获取判别式语言模型以及相关程度预测模型,根据判别式语言模型以及训练后的第一大语言模型,对相关程度预测模型进行蒸馏训练,其中,第一大语言模型、判别式语言模型以及相关程度预测模型均用于进行文本相关程度预测;本公开实施例能够提升相关程度预测模型的语义理解能力以及泛化能力。
技术关键词
文本
模型训练方法
大语言模型
样本
蒸馏
语义
模型训练装置
序列
电子设备
计算机程序产品
处理器
编码
可读存储介质
存储器
模块
意图
聚类
实体
系统为您推荐了相关专利信息
模态特征
多模态数据融合
交叉注意力机制
门控神经网络
融合特征
变压器励磁涌流
轨迹
深度学习识别模型
识别方法
样本
浓度预测方法
鲜烟叶
图像特征数据
多源特征融合
连续投影算法
电力设备故障
新能源设备
节点
语义关联度
风险评估值