注意力机制计算的优化方法、设备、存储介质及程序产品

本申请实施例提供了一种注意力机制计算的优化方法、设备、存储介质及程序产品，涉及人工智能技术领域，该方法包括：基于查询分块和键分块执行前向重计算算子获得前向归一化结果。基于输出梯度分块和前向归一化结果执行第一矩阵乘算子获得值中间结果，同时并行基于前向输出分块和输出梯度分块执行点乘求和算子，获得中间张量。对值中间结果执行第一类型变换算子，获得值梯度分块；同时并行基于输出梯度分块、值分块、中间张量和前向归一化结果执行梯度反向传播算子，获得反向归一化结果。最后基于反向归一化结果、键分块和查询分块，获得查询梯度分块和键梯度分块，实现对不同算子做有效的流水线处理，从而提升注意力机制计算的整体性能。