一种基于梯度和权重变化的非结构化剪枝方法

本发明公开了一种基于梯度和权重变化的非结构化剪枝方法，其训练神经网络过程中进行剪枝操作，无需在神经网络剪枝后进行重训练，降低了在使用神经网络进行实际预测过程中的计算资源；同时，在对神经网络进行剪枝的过程中，根据神经网络每个节点的权重和梯度，分别获取每个节点的连接系数、排序系数和综合评分，通过排序后的连接系数对神经网络每一层中的节点进行裁剪，通过排序系数和综合评分对神经网络中被裁剪后的节点进行恢复，避免了神经网络的过度波动，确保训练的稳定性和鲁棒性，避免过早固定参数，增强了网络的泛化能力；同时，恢复的节点还能够优化神经网络反向传播中的梯度更新过程，从而提高裁剪后神经网络的准确度。