面向法律领域多任务学习的大语言模型微调训练方法及系统

AITNT
正文
推荐专利
面向法律领域多任务学习的大语言模型微调训练方法及系统
申请号:CN202411489714
申请日期:2024-10-24
公开号:CN119474861A
公开日期:2025-02-18
类型:发明专利
摘要
本发明提供面向法律领域多任务学习的大语言模型微调训练方法及系统,涉及自然语言处理领域,解决了现有大语言模型在具体法律相关应用场景中面临的待处理任务多样和训练调试成本过高的问题;方法包括:获取基础架构并配置多个LoRA模块,用于适配一个或多个不同的下游法律任务;集成任务相关的学习模块,使每个LoRA模块依据下游法律任务的需求进行调整;采用神经网络门控机制,输入与下游法律任务对应的任务嵌入矩阵,动态确定对应下游法律任务的贡献权重,自适应地生成匹配的更新参数,依据不同的下游法律任务场景的具体需求进行微调;本发明可实现多任务法律业务场景中的高效参数微调,有效降低了场景适配成本与二次开发工作量。
技术关键词
多任务 门控神经网络 大语言模型 模块 代表 矩阵 命名实体识别 梯度下降算法 场景 数据 机制 训练系统 自然语言 动态 超参数 中间层 基座 工作量 分词
系统为您推荐了相关专利信息
1
基于DeepSeek的金融业务智能决策系统及方法
智能决策系统 人工智能模型 语音 人脸 数据分析模块
2
一种基于PyTorch的空气质量和健康指数的预测方法
指数 神经网络预测模型 深度学习神经网络 数据 计算误差
3
一种基于Tramba模型的视频理解方法及系统
视频理解方法 视频动作识别 状态空间模型 理解系统 状态更新机制
4
一种基于RASP的智能终端安全防护方法及系统
防护方法 探针 互动场景 识别异常流量 检测智能终端
5
一种基于AI的拍照姿势推荐与姿势轮廓生成系统
拍照姿势 生成系统 图像采集模块 语义分割网络 分析模块
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号