一种大模型自注意力优化方法、装置、设备及介质

本发明提供的一种大模型自注意力优化方法、装置、设备及介质，涉及人工智能技术领域。本发明通过获取输入序列经大模型自注意力结构后得到的KQ大矩阵，将KQ大矩阵分成若干个KQ小矩阵；对每个KQ小矩阵进行局部注意力计算，并与其他KQ小矩阵进行相似度的降序排序，得到排序列表；对于输入序列中的每个元素，根据计算出的排序列表，选取相似度排名前r中的KQ小矩阵对应的局部注意力进行加权计算，作为当前元素的注意力表示，直到完成所述输入序列的全部元素，得到所述输入序列优化后的注意力结果。本发明不仅降低了模型的计算复杂度，而且能捕捉远距离的上下文信息，提高了模型的准确性。