基于计算加速芯片的大模型系统

本申请公开基于计算加速芯片的大模型系统，涉及大模型领域。包括若干计算加速单元和管理服务器组成和实现片间及片外数据交互网络；计算加速单元的混合显存搭配SSD形成多源存储模式；计算芯片内设归一化片上网络、互联传输系统、存储控制系统、以及若干计算加速核；归一化片上网络能够基于存储控制系统读取目标位置的模型参数并送入计算加速核进行计算和回存；基于互联传输系统与管理服务器和其余计算加速单元进行交互，读取和回存外部模型参数及片间模型参数。通过混合显存架构与归一化片上网络的协同设计，结合多级路由控制与动态配置机制，有效解决了传统方案中显存容量不足、硬件成本过高及传输带宽受限的技术问题。