文本处理模型的训练方法、文本处理方法、问答处理方法及装置

AITNT
正文
推荐专利
文本处理模型的训练方法、文本处理方法、问答处理方法及装置
申请号:CN202410711037
申请日期:2024-06-03
公开号:CN118627543A
公开日期:2024-09-10
类型:发明专利
摘要
本申请实施例公开了一种文本处理模型的训练方法、文本处理方法、问答处理方法及装置,涉及人工智能技术领域。方法包括:获取多个训练样本,训练样本至少包括文本样本;利用多个训练样本,将大语言模型作为教师模型进行蒸馏,得到作为学生模型的文本处理模型,文本处理模型的参数规模小于所述大语言模型;其中在蒸馏的过程中,利用大语言模型针对文本样本预测的POT(思维程序)信息和COT(思维链)信息指导文本处理模型的训练。本申请通过利用大语言模型预测的POT信息和COT信息共同指导文本处理模型的训练,提高了模型训练的准确率。
技术关键词
文本处理模型 大语言模型 文本处理方法 样本 蒸馏 教师 文本处理装置 训练装置 知识图谱构建 学生 存储程序指令 处理器 人工智能技术 计算机程序产品 云端服务器 规模 参数 可读存储介质
系统为您推荐了相关专利信息
1
一种基于物理模型的多年冻土水热状态模拟方法及系统
多年冻土 水热 随机森林模型 模拟系统 气象
2
融合对抗增强与因果感知机制的电力需求预测方法及系统
电力需求预测方法 变量 移动通讯基站设备 多头注意力机制 加权特征
3
一种碳水利用率时空变化主导因素识别方法及系统
XGBoost模型 空间分布特征 识别方法 总初级生产力 净初级生产力
4
一种基于CTGAN的隧道病害监测数据增强方法及系统
隧道病害 时间序列特征 病害特征 表格 数据
5
一种避雷器的参数采样方法、装置及电子设备
泄漏电流值 避雷器参数 信息熵 采样点 样本
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号