数据推理方法、网络设备、介质、电子设备和程序产品

本公开涉及一种数据推理方法、网络设备、介质、电子设备和程序产品，属于计算机技术领域，能够解决带宽瓶颈，降低时延，提高系统性能。一种数据推理方法，包括：从多个节点接收初始注意力向量，初始注意力向量包括多个初始元素；确定网络设备本地保存的包括多个本地元素的本地注意力向量；由网络设备的流水线级中的j‑1、j、j+1和j+2执行本地元素i与相应初始元素的聚合，j‑1级确定初始元素的加权值并存储在HPV中，j级从其内存中读取本地元素i并存储到HPV中，j+1级确定本地元素i的加权值并存储在HPV中，j+2级基于本地元素i和初始元素的加权值对本地元素i与初始元素进行聚合得到目标注意力向量中的第i个元素，目标注意力向量被用于进行数据推理。