基于层级分组注意力的大语言模型加速方法、装置、设备及介质

本发明公开了一种基于层级分组注意力的大语言模型加速方法、装置、设备及介质，其中方法包括以下步骤：在大语言模型的推理过程中，将输入序列进行分组处理；对分组后的序列使用组内注意力机制，得到组内注意力；对分组后的序列使用组间注意力机制，得到组间注意力；对组内注意力和组间注意力进行层级化注意力融合，获得当前注意力模块的最终结果。本发明能够大幅降低大语言模型基础模块注意力计算复杂度，大幅减少大语言模型处理超长序列文本所需的显存和推理耗时，从而极大提升推理效率。本发明可广泛应用于自然语言技术领域。