大语言模型的解码加速方法、系统、电子设备和存储介质

AITNT
正文
推荐专利
大语言模型的解码加速方法、系统、电子设备和存储介质
申请号:CN202510159850
申请日期:2025-02-13
公开号:CN120163238A
公开日期:2025-06-17
类型:发明专利
摘要
本发明公开了一种大语言模型的解码加速方法、系统、电子设备和存储介质,涉及人工智能技术领域,方法包括:在对大语言模型进行训练的过程中,对大语言模型中的每个网络层的输出数据进行加权处理;在利用训练好的大语言模型对当前输入数据进行处理的过程中,每当得到训练好的大语言模型中的网络层的输出数据时,判断实时得到的网络层的输出数据是否符合预设条件,直至确定出判断结果为是的网络层,根据该网络层的输出数据确定预测结果,将预测结果与当前输入数据进行结合,重新输入训练好的大语言模型中。本发明能够有效降低计算量,从而提高解码效率,且适用于不同的架构的大语言模型,适用性强。
技术关键词
大语言模型 解码加速方法 加速系统 解码器架构 数据处理模块 电子设备 可读存储介质 人工智能技术 处理器 存储器 计算机
系统为您推荐了相关专利信息
1
一种基于人工势场多人重定向行走及位置预测方法
重定向行走 位置预测方法 障碍物 状态更新 编码器
2
一种基于深度学习的人物行为识别方法
标签 自然语言文本 识别方法 视频帧 语义
3
一种应用于火电-新能源场景的技术监督动态管控系统
业务流程模型 动态管控系统 火电 设备运行数据 风电
4
一种群组的挖掘方法、装置及设备
节点 图谱 挖掘算法 提纯 风险
5
一种焊接行为捕捉装置与焊接决策模型建立方法
焊枪尖端 模型建立方法 捕捉装置 图像 熔池视觉
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号