一种算子执行方法、设备、存储介质及程序产品

本申请提供了一种算子执行方法、设备、存储介质及程序产品，涉及人工智能技术领域，在该方法中，在第二线程束组采用矢量算子对第n批次任务进行矢量计算时，第一线程束组采用第一矩阵算子对第n+1批次任务进行矩阵计算，同时第三线程束组采用第二矩阵算子对第n‑1批次任务进行矩阵计算，由于第一线程束组和第三线程束组均由张量计算单元组成，因此，张量计算单元可以同时处理两个批次任务。由于张量计算单元和矢量计算单元可以同时对不同批次任务进行处理，避免了互相等待时间，进而可以降低Attention算子处理多个批次任务所带来的时间开销。