摘要
本发明提供面向法律领域多任务学习的大语言模型微调训练方法及系统,涉及自然语言处理领域,解决了现有大语言模型在具体法律相关应用场景中面临的待处理任务多样和训练调试成本过高的问题;方法包括:获取基础架构并配置多个LoRA模块,用于适配一个或多个不同的下游法律任务;集成任务相关的学习模块,使每个LoRA模块依据下游法律任务的需求进行调整;采用神经网络门控机制,输入与下游法律任务对应的任务嵌入矩阵,动态确定对应下游法律任务的贡献权重,自适应地生成匹配的更新参数,依据不同的下游法律任务场景的具体需求进行微调;本发明可实现多任务法律业务场景中的高效参数微调,有效降低了场景适配成本与二次开发工作量。
技术关键词
多任务
门控神经网络
大语言模型
模块
代表
矩阵
命名实体识别
梯度下降算法
场景
数据
机制
训练系统
自然语言
动态
超参数
中间层
基座
工作量
分词
系统为您推荐了相关专利信息
智能决策系统
人工智能模型
语音
人脸
数据分析模块
指数
神经网络预测模型
深度学习神经网络
数据
计算误差
视频理解方法
视频动作识别
状态空间模型
理解系统
状态更新机制
防护方法
探针
互动场景
识别异常流量
检测智能终端
拍照姿势
生成系统
图像采集模块
语义分割网络
分析模块