大模型加速系统

本申请提供一种大模型加速系统，包括：大模型加速芯片，被配置为在大模型的解码阶段，对输入的向量进行预处理，将预处理后的所述向量分发到近存计算芯片，并向近存计算芯片发送计算指令，以使近存计算芯片执行矩阵向量乘法计算任务；以及多个近存计算芯片，每个近存计算芯片被配置为依照所述计算指令，基于被分发的所述向量以及所存储的大模型的权重矩阵，执行矩阵向量乘法计算任务，并将计算结果发送到大模型加速芯片。