用于加速大语言模型中乘加运算的加速方法及硬件加速器

AITNT
正文
推荐专利
用于加速大语言模型中乘加运算的加速方法及硬件加速器
申请号:CN202510597875
申请日期:2025-05-09
公开号:CN120406898A
公开日期:2025-08-01
类型:发明专利
摘要
本发明涉及加速运算的技术领域,更具体地,涉及用于加速大语言模型中乘加运算的加速方法及硬件加速器,其中方法包括以下步骤:将m个浮点数形式的数据划分为一个浮点数块,其中,m为预设的正整数;对浮点数块进行块浮点的编码,得到浮点数块的共享指数和尾数,并对所述共享指数和尾数的位宽进行扩展;基于所述扩展后的共享指数和尾数进行乘加计算;将乘加计算结果解码还原成浮点数形式,得到解码结果;该用于加速大语言模型中乘加运算的加速方法及硬件加速器,能够保持较高的计算精度。
技术关键词
浮点数 大语言模型 硬件加速器 指数 编码器模块 缓冲模块 标志 解码器 计算器 加法器 移位寄存器 数据解码 乘法器 关系 阵列
系统为您推荐了相关专利信息
1
基于大语言模型的数据处理方法及装置
大语言模型 富文本 数据处理方法 对象识别 可视化参数
2
一种提高菌体活性与稳定性的多阶段发酵方法
发酵方法 调控模型 生理特征参数 多阶段 模型预测控制框架
3
一种睡眠障碍监测调控系统、监测调控方法
监测调控系统 监测调控方法 信息采集单元 调控策略 云端
4
用于内蒙古牛品种鉴定的SNP和InDel位点组合、5K靶向捕获基因芯片及其应用
基因芯片 位点 构建杂交捕获文库 种质资源鉴定 高通量测序技术
5
一种快消品预估出库量修正方法、装置及相关介质
量修正方法 协方差矩阵 生成标签 残差数据 指数
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号