基于深度学习模型注意力机制的文本处理方法与系统

本发明提供一种基于深度学习模型注意力机制的文本处理方法与系统，所述方法包括：获取用户输入的目标文本，所述目标文本包括用户键入文字；对所述目标文本进行向量化表达得到目标矩阵；基于预设的注意力处理机制对所述目标矩阵进行注意力计算得到注意力输出，其中，注意力处理机制包括量化降维处理和查表计算处理；基于所述注意力输出，通过多层感知机制计算得到输出文本，并将所述输出文本对外输出。本发明的基于深度学习模型注意力机制的文本处理方法与系统，不仅可以显著降低Softmax的计算开销，还可以释放显卡并行计算的计算资源，进而提升整个模型的推理效率以加速文本的生成。