多头注意力的分组方法、设备及存储介质

本申请公开了多头注意力的分组方法、设备及存储介质，本申请涉及数据处理技术领域，该方法先将多头注意力对应的至少两个多头向量分别压缩成单维向量，然后根据所述单维向量确定簇排序，并基于聚类算法提取所述簇排序中的聚类结果，所述聚类结果由至少一个矩阵组成，再基于所述聚类结果中类型匹配的目标矩阵进行平均池化，合并成结果矩阵，最后根据所述结果矩阵对所述多头注意力的键和值进行分组，并根据分组结果确定组数。上述方法通过自适应的聚类算法对多头向量进行聚类，从而生成聚类结果，进而根据聚类结果完成多头向量的分组，以提高模型训练的效率。