算子优化方法、电子设备、存储介质和程序产品

本发明涉及人工智能芯片技术领域，提供一种算子优化方法、电子设备、存储介质和程序产品，其中方法包括：基于算子数据的批次大小和掩码模式，以及计算设备的硬件参数，确定算子数据在各维度上的分块大小，各维度包括批次维度和序列长度维度；基于算子数据在各维度上的分块大小，对算子数据进行切分，得到多个数据块；将多个数据块对应的计算任务分配给计算设备上的多个处理单元，并基于多个处理单元对多个数据块对应的计算任务进行并行执行。本发明通过在批次维度和序列长度维度上同时对数据进行切分，使得数据批次较小时，计算设备上的多个处理单元也能够同时参与计算，从而避免硬件资源闲置，提升硬件资源的利用率，进而提高整体计算效率。