参数设置方法、文本生成方法、装置、设备、程序产品

AITNT
正文
推荐专利
参数设置方法、文本生成方法、装置、设备、程序产品
申请号:CN202411876272
申请日期:2024-12-19
公开号:CN119337240B
公开日期:2025-06-27
类型:发明专利
摘要
本发明提供一种参数设置方法、文本生成方法、装置、设备、程序产品,涉及人工智能领域,包括:获取预训练语言模型和预设低秩转换参数;针对预训练语言模型中对应相同网络层种类的网络层,将预设低秩转换参数设置为顶层网络层的低秩转换参数,并确定相邻网络层之间的相似度;若相似度不小于预设阈值,则将相邻网络层中的上层网络层的低秩转换参数作为相邻网络层中的下层网络层的低秩转换参数;若相似度小于预设阈值,则根据相似度确定调整系数,并利用调整系数对相邻网络层中的上层网络层的低秩转换参数进行增大,得到相邻网络层中的下层网络层的低秩转换参数;可以自适应地为网络层设置低秩转换参数,以提升模型微调训练效果。
技术关键词
预训练语言模型 文本生成方法 缩放参数 矩阵 数据 计算机可执行指令 因子 文本生成装置 存储计算机程序 计算机程序产品 子模块 处理器 可读存储介质 变换器 电子设备
系统为您推荐了相关专利信息
1
一种基于引导充电负荷平移的峰谷时段划定方法
峰谷时段 划定方法 双层优化模型 充电负荷模型 典型
2
一种耦合气象预报产品的中长期径流预报方法及相关装置
径流预报方法 气象 变量 指数 气候
3
一种基于图像增强与YOLO识别的闭环视觉控制方法及系统
视觉控制方法 深度学习结构 ARIMA模型 优化预测模型 图论技术
4
一种智能化工程施工进度监控与优化方法
智能化工程 马尔可夫预测算法 分区 工程信息化技术 实时图像
5
一种皮肤病智能辅助诊断系统
智能辅助诊断系统 数据输入模块 图像处理模块 特征提取模块 图像分割算法
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号