Transformer模型、数据处理方法、电子设备及存储介质

本发明提供一种Transformer模型、数据处理方法、电子设备及存储介质，应用于神经网络技术领域，包括：归一化层；归一化层用于按照目标处理单位对批量输入数据进行标准化操作，并对标准化操作后的数据进行仿射变换；归一化层具体用于：在所述归一化层的训练阶段，对于不同形状的输入数据，分别计算每个空间位置的数据的统计量，将当前统计量和对应形状的历史统计量取滑动平均后拉长为一维形状的统计量，并以原始形状为索引将所述一维形状的统计量保存在容器中，所述统计量包括均值和方差；在所述归一化层的推理阶段，根据输入数据的形状从所述容器中确定对应的统计量，并利用所述统计量进行标准化操作。