模型的训练方法、装置、电子设备、存储介质和计算机程序产品

AITNT
正文
推荐专利
模型的训练方法、装置、电子设备、存储介质和计算机程序产品
申请号:CN202410947007
申请日期:2024-07-15
公开号:CN118916693A
公开日期:2024-11-08
类型:发明专利
摘要
本公开关于模型的训练方法、装置、电子设备、存储介质和计算机程序产品,该方法包括:将训练演示和训练指令输入超网络编码器内;将编码结果输入适配器生成器内;基于适配器权重调整学生模型;将训练输入和编码结果输入调整后的学生模型;将训练数据输入教师模型,获得教师输出分布;计算训练损失;基于训练损失对超网络和学生模型进行训练。这样,可以基于训练演示和训练指令利用适配器生成器获得适配器权重,即可以自动从训练指令中生成特定任务的适配器,而无需对未见任务进行重新训练,降低了对大量标记数据的依赖,可以提高模型的跨任务泛化能力。并且,还可以实现降低计算开销、节省计算成本,提高了模型在实际应用中的适应性和灵活性。
技术关键词
学生 教师 适配器 超网络 大语言模型 编码器 指令 计算机程序产品 标签 电子设备 解码器 处理器 可读存储介质 数据获取模块 训练装置 编码模块
系统为您推荐了相关专利信息
1
基于控制流分析与检索增强的大模型代码安全审查方法
大语言模型 语法特征 融合多源信息 持续集成工具 版本控制系统
2
一种基于检索增强生成的文本指向性图像分割方法及系统
图像分割方法 多模态 文本 实体 互联网
3
行业大模型的生成方法、装置、电子设备及存储介质
参数 数据 生成方法 矩阵 解码信息
4
基于智能体的语句转化方法、装置、电子设备及存储介质
语义向量 语句 大语言模型 转化方法 数据
5
电网基层作业问题回复生成方法、装置、设备和存储介质
分词 词语 文本 回复生成方法 分块策略
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号