一种基于transformer的人工智能模型、系统及装置

本发明提供一种基于transformer的人工智能模型、系统及装置，其中模型包括transformer解码器，所述transformer解码器包括若干层的第一处理层和若干层的第二处理层，所述第一处理层包括多头自注意力层和第一位置感知前馈网络层；所述第二处理层包括掩码多头自注意力层、多头注意力层和第二位置感知前馈网络层，所述第一处理层的输出接入所述多头注意力层的输入；所述transformer解码器的输出端用于连接GPT2生成器，所述GPT2生成器包括第一归一化层、第二多头自注意力层、全连接层、线性层和softmax层。本发明能够融合后的模型的每个神经网络层都可以独立地进行计算，因而使得系统更具普适性。