基于异构系统级芯片的模型推理加速装置和方法

本发明提供一种基于异构系统级芯片的模型推理加速装置和方法，涉及人工智能技术领域，包括处理系统端和可编程逻辑端；处理系统端包括文本分词模块和指令控制模块；可编程逻辑端包括指令解码模块、调度模块、矩阵运算模块、稀疏控制模块、存储控制模块、片上内存模块。本发明提供的装置和方法，能够适应不同规模的大型语言模型，支持模型的动态调整，实现了在计算资源有限的嵌入式设备中对大型语言模型的推理进行加速，提高了大型语言模型推理的计算效率。