基于忆阻器的大模型存算一体加速方法及其适配的数据流处理方法

AITNT
正文
推荐专利
基于忆阻器的大模型存算一体加速方法及其适配的数据流处理方法
申请号:CN202410781014
申请日期:2024-06-18
公开号:CN118609628A
公开日期:2024-09-06
类型:发明专利
摘要
本发明公开了一种基于忆阻器的大模型存算一体加速方法及其适配的数据流处理方法,该方法将大模型内的庞大参数量,以分布式的方式卸载到忆阻器存算一体架构上,该架构将存储分为多个层次,存算一体模块、计算核心、单片和忆阻器阵列级别,以使用相同的架构承载不同的网络结构。在这一架构的基础上,本发明对以GPT‑3为例的大模型进行算子拆解,并设计数据流最大化并行利用硬件资源,达到大模型加速的效果。本发明公开了上述架构和数据流设计,填补了当前大模型硬件加速在基于忆阻器的存算一体系统上的架构空白和数据流空白,促进存算一体技术和大模型技术的进一步发展。
技术关键词
忆阻器阵列 浮点数 控制中心 静态随机存储器 前馈神经网络 核心 多层感知机 模块 加法器 单裸片 执行乘法累加 注意力机制 精度 掩模 电路 网络结构 字典
系统为您推荐了相关专利信息
1
一种多模态网络的管理方法和装置
网络节点设备 多模态网络 设备管理 网元 控制中心
2
一种噪声区域检测识别方法
检测识别方法 位置识别器 音频特征提取 建筑垃圾处置 多层次
3
人工智能芯片及其池化方法
浮点运算单元 人工智能芯片 控制电路 特征点 操作控制模块
4
一种海岸带碳汇数据采集管理系统及方法
数据采集管理方法 土壤有机碳含量 温室气体通量 数据采集管理系统 生态
5
盾构隧道施工期管片上浮量预测方法、系统、设备及介质
量预测方法 神经网络模型 盾构隧道管片 盾构机盾尾 刚度
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号