摘要
本发明适用于大模型任务优化调整技术领域,提供了一种基于LoRA的大模型任务优化调整方法和系统。本发明通过进行应用任务监测,确定多个下游任务,匹配多个对应的LoRA模块,并初始化多个LoRA模块的矩阵参数;对多个LoRA模块进行参数训练,记录参数数据;使用句子嵌入模型,确定多个LoRA模块的嵌入表示;计算多个LoRA模块与多个下游任务之间的贡献权重,根据多个贡献权重,计算优化调整输出。能够针对多任务,实现更加灵活、适应性强的微调,动态平衡任务之间的资源分配与性能需求,能够有效应对多任务环境中的复杂性和异质性,且能够满足多任务系统的个性化要求,提升模型推理效率和整体表现。
技术关键词
模块
参数
矩阵
命名实体识别
问答系统
机器翻译
多任务系统
分析单元
数据
文本
处理单元
摘要
资源分配
样本
效应
标签