一种基于自监督增强任务的分层对比蒸馏方法及系统

本发明公开了一种基于自监督增强任务的分层对比蒸馏方法及系统。方法如下：在原始数据集中定义多种图像变换将数据进行自监督增强；在教师模型中添加辅助分类器，训练教师模型输出其中间层在联合自监督增强任务和原始分类任务的联合概率分布以及最终层概率分布，并保存模型中间层特征信息；将教师模型的知识信息蒸馏至学生模型并进行训练，计算学生模型中间层概率分布与最终层概率分布损失，并将教师与学生模型中间层特征信息经过层次化投影头的处理，将特征约束至对比学习单位超球面进行特征拉近，计算特征损失；最后将概率分布损失、特征损失及学生模型最终层logit损失进行加权计算得到总损失。