一种提高神经网络系统鲁棒性的组合标准化层模块

本发明公开了一种提高神经网络系统鲁棒性的组合标准化层模块，属于神经网络领域；所述组合标准化层模块由“线性层‑批标准化层(BN)‑非线性层‑线性层‑非批标准化层(BFN)‑非线性层”组成，其中，非批标准化层(BFN)包括层标准化层(LN)和分组标准化层(GN)，在应用于MLP和CNN时，各层的输出不同；所述组合标准化层模块在用于构建前向神经网络时，可以通过将若干组合标准化层模块直接串联实现，具体包括：使用Basic Block和BottleNeck形式的组合标准化层模块的残差神经网络；本发明可以有效地利用BN在加速神经网络训练时的优点，并缓解其在小批量数据、或者训练和测试数据分布差异很大的情况下效果变差的缺点，提高深度神经网络的鲁棒性。