摘要
本发明提供一种参数设置方法、文本生成方法、装置、设备、程序产品,涉及人工智能领域,包括:获取预训练语言模型和预设低秩转换参数;针对预训练语言模型中对应相同网络层种类的网络层,将预设低秩转换参数设置为顶层网络层的低秩转换参数,并确定相邻网络层之间的相似度;若相似度不小于预设阈值,则将相邻网络层中的上层网络层的低秩转换参数作为相邻网络层中的下层网络层的低秩转换参数;若相似度小于预设阈值,则根据相似度确定调整系数,并利用调整系数对相邻网络层中的上层网络层的低秩转换参数进行增大,得到相邻网络层中的下层网络层的低秩转换参数;可以自适应地为网络层设置低秩转换参数,以提升模型微调训练效果。
技术关键词
预训练语言模型
文本生成方法
缩放参数
矩阵
数据
计算机可执行指令
因子
文本生成装置
存储计算机程序
计算机程序产品
子模块
处理器
可读存储介质
变换器
电子设备
系统为您推荐了相关专利信息
峰谷时段
划定方法
双层优化模型
充电负荷模型
典型
视觉控制方法
深度学习结构
ARIMA模型
优化预测模型
图论技术
智能化工程
马尔可夫预测算法
分区
工程信息化技术
实时图像
智能辅助诊断系统
数据输入模块
图像处理模块
特征提取模块
图像分割算法