一种在Versal ACAP架构上的高效自注意力推理方法

一种在Versal ACAP架构上的高效自注意力推理方法属于软硬件协同加速数值计算领域。首先，将自注意力的Softmax激活函数替换为激活函数，并将自注意力分块计算，这种分块计算方法更适用于硬件的设计。其次，在Versal ACAP架构上设计实现了自注意力的硬件加速器，使用Versal ACAP的AIE阵列实现AIE处理单元，并使用Versal ACAP的PL实现数据引擎为AIE处理单元提供数据和调度，使用片上DDR存储源数据与结果，三者组合为自注意力模块(ASA)，用于承担自注意力的运算。实验证明，通过采用本发明的方法部署的加速器，有效提高了自注意力加速器的吞吐量，降低了推理延迟，同时此加速器在批量推理方面具有巨大的优势，并降低推理成本以及提升推理速度方面。