边缘端大语言模型推理系统

本发明公开了一种边缘端大语言模型推理系统，该系统包括主计算芯片、LPDDR互连资源和垂直堆叠封装的存储芯片堆；存储芯片堆包括NAND闪存芯片和DRAM芯片，NAND闪存芯片与DRAM芯片成对且共用LPDDR互连资源；NAND闪存芯片包括基于混合键合的三维互连的闪存芯片裸片和CMOS芯片裸片；闪存芯片裸片上设有闪存阵列；CMOS芯片裸片上设有逻辑块；主计算芯片在大语言模型推理的预填充阶段，从NAND闪存芯片读取模型全连接层的参数矩阵，并从DRAM芯片读取其它参数进行计算；NAND闪存芯片在解码阶段进行全连接层计算。本发明的系统可提升外部传输与内部读取带宽。