大语言模型的微调训练方法、电子设备、存储介质和程序产品

AITNT
正文
推荐专利
大语言模型的微调训练方法、电子设备、存储介质和程序产品
申请号:CN202511059820
申请日期:2025-07-30
公开号:CN121009164A
公开日期:2025-11-25
类型:发明专利
摘要
本申请实施例提供一种大语言模型的微调训练方法、电子设备、存储介质和程序产品,涉及人工智能技术领域,该方法包括:获取针对同一个训练问题生成的多个独立的候选答案,基于多个候选答案的分布特征,量化表示训练问题的不确定程度,根据多个候选答案的不确定程度,对训练问题的损失权重赋值,其中,不确定程度越高,损失权重越高,获取多个训练问题的损失权重,并基于使用各训练问题的损失权重加权的损失函数,对大语言模型执行微调训练。本申请实施例基于训练问题的不确定性对损失权重赋不同的值,调节各训练问题的损失在损失函数中的重要程度,从而协同优化大语言模型微调训练过程的训练效率和推理精度。
技术关键词
大语言模型 答案 生成方式 分布特征 文本 电子设备 可读存储介质 人工智能技术 计算机程序产品 聚类 处理器 教师 存储器 频率 精度
系统为您推荐了相关专利信息
1
一种基于大模型的RAG出题与自动判题系统
存储模块 智慧教育技术 综合评估模型 交叉验证方法 资料
2
问答对生成方法、装置、电子设备及存储介质
问答对生成方法 文本 意图识别模型 非暂态计算机可读存储介质 实体识别技术
3
一种基于指令模式的起爆方法及系统
起爆方法 文本识别模型 指令 波特率 漏洞
4
一种图像处理方法、装置及设备
文本识别 图像处理方法 图像处理设备 风险 图像处理装置
5
基于大模型语义理解的商品特征自动提取方法及系统
商品特征 语义 基准 聚类 编码
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号