摘要
本发明涉及加速运算的技术领域,更具体地,涉及用于加速大语言模型中乘加运算的加速方法及硬件加速器,其中方法包括以下步骤:将m个浮点数形式的数据划分为一个浮点数块,其中,m为预设的正整数;对浮点数块进行块浮点的编码,得到浮点数块的共享指数和尾数,并对所述共享指数和尾数的位宽进行扩展;基于所述扩展后的共享指数和尾数进行乘加计算;将乘加计算结果解码还原成浮点数形式,得到解码结果;该用于加速大语言模型中乘加运算的加速方法及硬件加速器,能够保持较高的计算精度。
技术关键词
浮点数
大语言模型
硬件加速器
指数
编码器模块
缓冲模块
标志
解码器
计算器
加法器
移位寄存器
数据解码
乘法器
关系
阵列
系统为您推荐了相关专利信息
大语言模型
富文本
数据处理方法
对象识别
可视化参数
发酵方法
调控模型
生理特征参数
多阶段
模型预测控制框架
监测调控系统
监测调控方法
信息采集单元
调控策略
云端
基因芯片
位点
构建杂交捕获文库
种质资源鉴定
高通量测序技术