一种基于FPGA的高性能大语言模型加速器及推理方法

本申请公开了一种基于FPGA的高性能大语言模型加速器及推理方法，采用多计算单元(CU)和矩阵处理单元(MPE)相结合的结构，借助FPGA的并行计算能力，能够高效地分配计算任务并实现并行处理，从而大幅提升了计算效率。通过并行化处理多个任务，显著提高了推理速度，避免了传统方案中的计算瓶颈。其次，在内存管理方面，本发明通过高带宽内存(HBM)和片外内存(如DDR)的混合存储策略，优化了内存带宽的利用，实现了数据在多个计算单元之间的高效流动，减少了数据传输中的延迟，确保了计算过程中的高效数据访问。