基于LLM大小模型协同训练的方法、介质及设备

本发明公开了一种基于LLM大小模型协同训练的方法、介质及设备，其中方法包括：S1、结合通用大模型的语言理解能力和预训练能力，获得庞大的知识体系，对业务场景所需的AI服务0样本冷启动上线；S2、针对业务场景产生的样本数据进行少量标注并微调通用大模型，形成场景大模型，经不断学习以使场景大模型具备领域内知识，快速提升算法效果；S3、将场景大模型获得的领域内知识蒸馏到多个小模型，利用打分机制对多个小模型的结果进行融合，实现大小模型协同训练。本发明可实现在有限的硬件资源条件下对任一场景文本服务冷启动上线，通过少量标注即可获得大模型知识的大小模型协同训练，大大提高了模型学习能力和工作效率。