摘要
本发明公开了一种基于忆阻器的大模型存算一体加速方法及其适配的数据流处理方法,该方法将大模型内的庞大参数量,以分布式的方式卸载到忆阻器存算一体架构上,该架构将存储分为多个层次,存算一体模块、计算核心、单片和忆阻器阵列级别,以使用相同的架构承载不同的网络结构。在这一架构的基础上,本发明对以GPT‑3为例的大模型进行算子拆解,并设计数据流最大化并行利用硬件资源,达到大模型加速的效果。本发明公开了上述架构和数据流设计,填补了当前大模型硬件加速在基于忆阻器的存算一体系统上的架构空白和数据流空白,促进存算一体技术和大模型技术的进一步发展。
技术关键词
忆阻器阵列
浮点数
控制中心
静态随机存储器
前馈神经网络
核心
多层感知机
模块
加法器
单裸片
执行乘法累加
注意力机制
精度
掩模
电路
网络结构
字典
系统为您推荐了相关专利信息
网络节点设备
多模态网络
设备管理
网元
控制中心
检测识别方法
位置识别器
音频特征提取
建筑垃圾处置
多层次
浮点运算单元
人工智能芯片
控制电路
特征点
操作控制模块
数据采集管理方法
土壤有机碳含量
温室气体通量
数据采集管理系统
生态
量预测方法
神经网络模型
盾构隧道管片
盾构机盾尾
刚度