一种面向大语言模型轻量化的对比式自适应知识蒸馏方法

本发明涉及一种面向大语言模型轻量化的对比式自适应知识蒸馏方法，包括如下步骤：选取通用教师模型和学生模型并进行初始化；使用同一类型数据构建的训练集X分别作为教师模型和学生模型的输入，利用两个模型各自的输出联合原始输入构建混合训练样本；构建双分支对比式损失函数用于对学生模型的训练，最终得到训练好的学生模型。本发明提出的学生模型训练方法具备训练稳定、性能优越、资源高效等优势，适用于语言、代码、视觉等多模态大型模型在资源受限环境下的轻量部署场景，具有良好的工程应用前景与推广价值。