注意力机制计算和模型推理方法、装置、设备及介质

本发明提供一种注意力机制计算和模型推理方法、装置、设备及介质，其中方法包括：将序列分为多个片段，为各片段分配处理节点，控制各处理节点分别计算与处理节点对应的片段在完整隐层维度上的注意力向量；控制各处理节点之间传输注意力向量，在各处理节点处得到序列在部分隐层维度上的注意力向量；控制各处理节点分别基于序列在部分隐层维度上的注意力向量进行注意力机制计算，在各处理节点处分别得到序列在部分隐层维度上的计算结果；控制各处理节点之间传输计算结果，在各处理节点处得到各片段在完整隐层维度上的注意力计算结果。本发明提供的方法、装置、设备及介质，能够提升的注意力机制的计算效率，并降低模型结构的敏感度，通用性更强。