数据推理方法、网络设备、介质、电子设备和程序产品

本公开涉及一种数据推理方法、网络设备、介质、电子设备和程序产品，属于计算机技术领域，能够解决带宽瓶颈问题，降低时延，提高系统性能。一种数据推理方法，应用于数据推理系统中的网络设备，包括：从数据推理系统的多个节点接收初始注意力向量和初始缩放因子；针对每个初始注意力向量和初始缩放因子，确定对应的本地注意力向量和本地缩放因子，确定初始和本地缩放因子的最大值及初始和本地缩放因子的差值绝对值，若差值绝对值小于等于预设值，则基于差值绝对值和最大值更新本地缩放因子，基于初始和本地注意力向量及差值绝对值更新本地注意力向量以进行向量聚合得到目标注意力向量，目标注意力向量被多个节点中的主节点用于数据推理。