融合领域知识蒸馏的智能制造领域大语言模型构建方法

本申请提供了一种融合领域知识蒸馏的智能制造领域大语言模型构建方法，涉及智能制造领域，其收集智能制造领域知识并进行知识清晰和结构化编码以得到智能制造领域知识图谱，同步选择预训练大语言模型作为教师模型，并结合智能制造领域知识图谱得到智能制造领域教师模型。接着收集智能制造领域任务数据，并结合智能制造领域教师模型对学生模型进行知识蒸馏训练以得到智能制造领域学生模型，以有效融入结构化领域知识，并关注领域知识的结构化特性与语义关联性，从而兼顾软标签的语义相似性与硬标签的监督信号，平衡泛化性与领域特异性。