光电Transformer加速器协同方法及其装置

本申请实施例提供了一种光电Transformer加速器协同方法和装置，旨在高效处理Transformer模型计算。首先，依据光计算芯片上光芯片静态随机存取存储器大小M以及查询矩阵Q、键矩阵K和值矩阵V的特征维度d，将Q划分为Tr个子块，K和V分别划分为Tc个子块。然后，通用计算芯片与光计算芯片交互通讯，先将K和V的第j个子块传输至光计算芯片，接着针对该子块，循环将Q的第i个子块传输过去。光计算芯片计算局部注意力分数矩阵Sij后传回，通用计算芯片对其非线性处理得到局部注意力权重矩阵Pij，计算Sij每行最大值mij与Pij每行和lij，并更新m、l和O，直至K和V所有子块处理完毕。该方法通过光电协同与分块计算，优化资源利用，提升计算效率。