基于TinyBERT的知识蒸馏方法

本发明公开了一种基于TinyBERT的知识蒸馏方法，包括如下步骤：S1、采用BERT作为教师模型，TinyBERT作为学生模型，进行蒸馏；S2、定义蒸馏损失函数，更新学生注意力层；S3、优化层级映射，结合注意力权重生成优化输出；S4、数据增强与伪目标生成，提升泛化能力；S5、动态权重调整，优化损失权重比例；本发明通过优化知识蒸馏技术，将大型模型的知识高效传递到小型学生模型，实现了模型的轻量化、高性能和广泛适用性。