摘要
本申请实施例提供一种大语言模型的微调训练方法、电子设备、存储介质和程序产品,涉及人工智能技术领域,该方法包括:获取针对同一个训练问题生成的多个独立的候选答案,基于多个候选答案的分布特征,量化表示训练问题的不确定程度,根据多个候选答案的不确定程度,对训练问题的损失权重赋值,其中,不确定程度越高,损失权重越高,获取多个训练问题的损失权重,并基于使用各训练问题的损失权重加权的损失函数,对大语言模型执行微调训练。本申请实施例基于训练问题的不确定性对损失权重赋不同的值,调节各训练问题的损失在损失函数中的重要程度,从而协同优化大语言模型微调训练过程的训练效率和推理精度。
技术关键词
大语言模型
答案
生成方式
分布特征
文本
电子设备
可读存储介质
人工智能技术
计算机程序产品
聚类
处理器
教师
存储器
频率
精度
系统为您推荐了相关专利信息
事件检测模型
分布特征
交叉注意力机制
编码
路段
因果关系挖掘方法
CRF算法
标记
大规模文本数据
关系抽取算法
工作流
可执行程序代码
语音识别技术
语音情感分析
个性化语音