一种基于VGG11(BN)神经网络蒸馏训练方案

本发明属于神经网络技术领域，尤其是一种基于VGG11(BN)神经网络蒸馏训练方案，针对现有的现有训练方式下VGG11(BN)神经网络精度受网络结构限制的问题，现提出如下方案，其采用离线和在线两种知识蒸馏训练的方式，即首先对一个VGG11(BN)网络进行普通训练，训练完成之后，将其作为教师网络开始指导自蒸馏框架进行蒸馏训练；基于VGG11(BN)网络搭建蒸馏训练方案，由教师网络和自蒸馏框架两部分组成，以VGG11(BN)神经网络为基础，额外引入模块结构构建多个分类器搭建自蒸馏框架，然后使用在同一任务下已完成普通训练的VGG11(BN)网络来指导整个自蒸馏框架的训练，通过蒸馏的方式提升VGG11(BN)网络精度，进一步提升蒸馏效果，解决现有训练方式下VGG11(BN)神经网络精度受网络结构限制的问题。