一种基于LoRA-MoE的大模型微调方法、系统、设备及介质

本发明涉及人工智能技术领域，具体地说，涉及一种基于LoRA‑MoE的大模型微调方法、系统、设备及介质；该方法利用LoRA技术能够使用更小的参数对大模型进行微调的特性与MoE架构能使得模型泛化能力更强以及效果更好的特性相结合，提出了采用LoRA‑MoE技术对大模型进行微调，这种方法可以解决大模型微调时需要消耗大量显存的问题以及使用LoRA技术微调时效果较差的问题，确保了大模型在微调过程中能够减小消耗并保证一定的微调效果。