摘要
本发明公开了一种基于混合专家模型的任务处理方法、装置及存储介质,其中方法包括:将自编程任务划分为五类任务,其中,五类任务包括函数名和语法预测任务、变量名预测任务、字符串参数预测任务、基座模型预测任务和文风预测任务;对于每一类任务,基于标注后的示例代码训练得到每一类任务对应的LoRA专家模型;基于训练好的专家调度器,根据当前自编程任务的任务类型,联合多个LoRA专家模型进行推理得到任务代码。本发明通过将自编程任务划分为五类任务,每类任务对应一个LoRA专家模型,多个LoRA专家模型共用一个基座多语言模型,对自编程任务进行推理,能够有效降低显存需求,从而能够有效提高专家模型处理的效率。
技术关键词
调度器
推理网络
编程
转换器模块
模型训练模块
数据
大语言模型
样本
可读存储介质
计算机
基座
多语言
处理器
终端设备
存储器
策略
参数
注意力
非线性
系统为您推荐了相关专利信息
电价预测方法
矩阵
深度学习模型
模型训练模块
归一化方法
移动充电机器人
跑车
轴向驱动机构
充电舱
锂电池模块
汽车压铸件
图像
异常检测方法
特征提取模块
特征提取单元
耦合热泵
数据采集系统
云端服务器
子模块
数据传输组件