大模型投机采样加速架构、数据配置方法及电子芯片

本发明公开一种大模型投机采样加速架构、数据配置方法及电子芯片，其中，大模型投机采样加速架构，包括：存储器和用于执行投机采样算法的计算模块，存储器和计算模块采用近存计算配置方式；存储器包括多个存储阵列，大模型参数以矩阵切块方式分布式存储在存储阵列中；计算模块包括多个计算子模块，每个计算子模块可直接独立访问对应的存储阵列，计算子模块之间通过片上网络进行通信。本发明可以有效缓解模型参数搬运问题，不仅提升了计算时的带宽，还有效降低了数据传输功耗。