一种大语言模型主动反馈知识蒸馏方法

本发明公开了一种大语言模型主动反馈知识蒸馏方法，属于人工智能技术领域，包括模块一与模块二，模块一由教师大语言模型库、轻量级学生模型、输入样本组成，模块二由输出样本、微调教师模型组成；知识蒸馏方法包括以下步骤：S1、轻量级学生模型通过输入样本进行监督学习；S2、教师大语言模型库对轻量级学生模型进行知识蒸馏；S3、轻量级学生模型经过知识蒸馏输出知识形成输出样本，筛选采样其中m%的输出样本作为反馈样本；S4、将反馈样本输入到教师大语言模型库中进行微调并形成微调教师模型，通过微调教师模型对轻量级学生模型再次进行知识蒸馏；本发明可以增强模型的泛化能力并提高知识传递的效率与效果。