基于文本提示的图像分类模型知识蒸馏方法

本发明公开了基于文本提示的图像分类模型知识蒸馏方法，获取图片分类数据集，构建知识蒸馏模型框架，将蒸馏模型中的文本编码器以及教师模型的参数进行冻结，将训练集中的文本信息token化后向量化得到可学习的提示向量，再对可学习的提示向量进行对比学习预训练；将可学习向量冻结，同时文本编码器以及教师模型保持冻结状态不变，进行学生模型知识蒸馏训练；本发明通过预训练可优化的提示向量将提示学习引入蒸馏训练的方法，文本提示很大程度需要依赖提示词的优劣，为了更好地适应不同的蒸馏任务，通过引入可优化的提示向量，在蒸馏训练前进行提示词微调，使得当前提示词更契合教师模型，帮助学生模型更快地收敛到有用的关键信息点上。