通用可配置Transformer神经网络的硬件加速器及其实现方法

AITNT
正文
推荐专利
通用可配置Transformer神经网络的硬件加速器及其实现方法
申请号:CN202411524134
申请日期:2024-10-30
公开号:CN119047514B
公开日期:2025-01-28
类型:发明专利
摘要
本发明公开了一种通用可配置Transformer神经网络的硬件加速器及其实现方法,包括控制单元、计算单元和DMA单元,控制单元监测计算单元和DMA单元的状态,并决定是否发送指令;计算单元从固定sRAM位置读取数据,并输出到下一步计算的固定位置,当检测到计算命令队列已空,将输出计算结果到与DMA单元共享的sRAM存储位置;DMA单元与计算单元通过sRAM交互,将计算数据放入加载目标地址堆制动位置,并将sRAM存储位置共享数据根据存储地址队列存回指定位置。本发明通过设置核心运算和次级运算的方式,实现高输入数据复用率,减少了访存需求;通过指令流填充配置表的方式,减少大量指令的取指译码时间,提高了整体执行效率。
技术关键词
硬件加速器 队列 控制单元 矩阵乘法器 前馈神经网络 核心 指令流 数据 标志寄存器 注意力 调度器 计算器 先进先出 命令 信号 存储器 控制器 表单
系统为您推荐了相关专利信息
1
基于意图识别的响应方法、装置、设备及存储介质
意图识别 文本 深度语义分析 语义向量 实体
2
流渲染应用管理方法及流渲染管理设备
GPU服务器 管理设备 节点 管理方法 机器可读指令
3
农业领域大语言模型训练方法、设备及介质
大语言模型 农业 数据 解码器 多头注意力机制
4
一种基于湖仓一体的医疗大数据处理方法、装置、设备及介质
非暂态计算机可读存储介质 医疗业务系统 生成专题 医疗大数据处理 主题
5
一种基于双通道DMA控制器与混合中断模式的数据传输系统及方法
DMA控制器 数据传输系统 接收端 FPGA芯片 接口模块
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号