一种模型推理优化方法、设备、存储介质及程序产品

本申请实施例提供了一种模型推理优化方法、设备、存储介质及程序产品，涉及人工智能技术领域，该方法包括：在接收到提示内容后，根据提示内容在插槽中对应的目标槽位索引，生成提示内容对应的计算单元索引表，计算单元索引表包括：对提示内容进行多头注意力机制的计算时，计算每个注意力头的计算单元的索引，这样，在模型推理过程中，基于计算单元索引表，可将每个注意力头的计算任务分配到相应的计算单元进行计算，获得计算结果。该方法将控制粒度调整到每个注意力头，这样可以避免计算单元重复计算注意力头的情况，从宏观层面上来说，可以更好地让计算单元并行服务，从而充分利用人工智能芯片的硬件特性，提高读取数据性能和吞吐率。