一种实现神经网络容错功能的蒸馏在线训练电路及方法

本发明属于人工神经网络领域，具体涉及一种实现神经网络容错功能的蒸馏在线训练电路及方法。所述电路包括学生模型神经网络模型电路、教师模型神经网络模型电路和知识蒸馏训练损失计算模块，学生模型神经网络模型电路和教师模型神经网络模型电路对称分布；学生模型和教师模型神经网络模型电路均由卷积层和全连接层连接组成，最后一个全连接层为分类层，输出连接Softmax激活函数电路，其余全连接层及所有卷积层输出连接ReLU激活函数电路，每一层激活后的输出构成输出特征图；知识蒸馏训练损失计算模块包括特征蒸馏损失技术模块、响应蒸馏损失计算模块和交叉熵损失计算模块。本发明的方法在故障检测时花费更小成本，具有更高的检测效率。