一种三缓存加速GNN推理的方法

本发明公开了一种三缓存加速GNN推理的方法，该方法包括如下步骤：根据给定参数进行预采样；将确定节点的平均出度；确定邻接数组缓存、节点特征缓存和中间层输出缓存各自的合理容量；分别填充节点特征和邻接数组缓存；在正式推理的过程中制备小批量；在中间层计算完成后，将输出结果存储至中间层输出缓存，重复此操作，逐层推理，直至处理完倒数第二层；进行最后一层的计算，输出最终结果，推理结束。本发明的目的在于提供一种三缓存加速GNN推理的方法，旨在解决目前图神经网络推理过程中，将空闲的GPU内存全部用于缓存节点特征，对空闲内存空间未作合理划分，由此带来GNN推理过程GPU资源实际利用率低的问题，并且通过引入邻接数组缓存和中间层输出缓存，将GPU内存合理利用起来，解决目前GNN推理中未利用到邻接矩阵局部性以及存在冗余计算的问题，该方法通过对邻接数组缓存、节点特征缓存和中间层输出缓存合理分配缓存容量，在采样、特征选择和计算三个环节进行接力式优化，提高系统的整体运行效能。