一种基于自适应激活缩放适配的大语言模型多任务学习方法

AITNT
正文
推荐专利
一种基于自适应激活缩放适配的大语言模型多任务学习方法
申请号:CN202411591529
申请日期:2024-11-08
公开号:CN119539004B
公开日期:2025-05-13
类型:发明专利
摘要
本发明公开一种基于自适应激活缩放适配的大语言模型多任务学习方法,属于大语言模型技术领域。所述方法包括:构建模型;初始化各任务k的可学习激活缩放适配向量;构造多任务联合微调训练数据集;利用多任务联合微调训练数据集进行LoRA模块参数、多任务融合缩放网络参数和可学习激活缩放适配向量的优化,以生成训练后的模型。本发明缓解不同任务之间的跷跷板问题,并实现使用有限的资源高效地多任务学习和优化。
技术关键词
注意力 多任务学习方法 线性变换矩阵 前馈神经网络 计算机程序指令 因子 自然语言 基座 参数 模型训练模块 可读存储介质 大语言模型 学习系统 数据 非线性 电子设备 跷跷板
系统为您推荐了相关专利信息
1
一种基于人工智能的HSE体系审核方法
审核方法 设备状态数据 风险预测模型 动态时间规整算法 物联网传感器
2
一种基于语义先验引导的不完整多模态脑肿瘤分割方法
多模态脑肿瘤 语义先验 分割方法 图谱 模态特征
3
布局可控的视频生成方法、装置、设备、介质和产品
布局特征 视频生成模型 适配器 噪声 模块
4
一种结合茶叶图像和环境数据的茶叶采摘时间预测方法
时间预测模型 时间预测方法 图像 数据 推理算法
5
一种基于深度学习架构的骨传导语音信号传输方法
语音信号传输方法 深度学习架构 语音编解码器 语音编码器 多头注意力机制
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号