一种基于ResNet18残差神经网络自蒸馏知识多重利用的训练方法

本发明属于知识蒸馏技术领域，尤其是一种基于ResNet18残差神经网络自蒸馏知识多重利用的训练方法，现提出如下方案，其包括整体框架、注意模块、浅层分类器和多种知识利用模块，所述Conv3×3表示卷积核为3×3的卷积，64、126、256和512分别表示卷积的输出通道数，maxpool表示最大池化层，AvgPool表示平均池化层，FC1、FC2、FC3和FC4表示输出节点数为100的全连接层，Softmax1、Softmax2、Softmax3、Softmax4和表示Softmax函数，Sigmoid表示Sigmoid函数，本发明：以ResNet18为基础，额外引入注意力模块、浅层分类器、全连接层，构成额外分支，搭建自蒸馏框架，将不同层次的模块知识分别引入浅层分类器中，实现对知识的多重利用，提升蒸馏效果，进而提高网络模型的精度。