注意力机制计算的优化方法、设备、存储介质及程序产品

本申请实施例提供了一种注意力机制计算的优化方法、设备、存储介质及程序产品，涉及人工智能技术领域，该方法包括：将待处理张量拆分为多个张量分块，多个张量分块中包括掩码分块和非掩码分块；针对多个张量分块，分别执行：基于计算单元数量将一个张量分块拆分为多个子分块，并将多个子分块分配到多个计算单元，每个计算单元分配至少一个子分块；针对分配给每个计算单元的多个子分块，分别执行：当一个子分块属于非掩码分块时，对该子分块进行汇编操作；当该子分块属于掩码分块时，跳过该子分块的汇编操作。通过每个计算单元基于关联的多个分块汇编结果进行注意力机制计算，有效减少了注意力机制计算的整体计算量，从而节约计算资源和内存。