基于混合路由策略的大语言模型微调方法

本发明属于自然语言处理技术领域，公开了一种基于混合路由策略的大语言模型微调方法，获取预训练的大语言模型；构建混合微调模块的专家模型；混合微调模块的专家模型包括预训练的大语言模型、专家网络和门控网络；专家网络包括若干由微调模块增强的专家；将训练用数据输入混合微调模块的专家模型，获取专家网络的信息熵，并基于熵的混合路由策略确定专家分配；获取混合微调模块的专家模型的总损失；依据总损失对专家网络和门控网络进行优化。本发明提出了一种新的混合路由策略，减轻了路由器的不确定性，增强了模型的稳定性，并促进了专家的公平参与，从而加速了模型的收敛速度并提高了性能。