摘要
本发明公开了一种大语言模型的解码加速方法、系统、电子设备和存储介质,涉及人工智能技术领域,方法包括:在对大语言模型进行训练的过程中,对大语言模型中的每个网络层的输出数据进行加权处理;在利用训练好的大语言模型对当前输入数据进行处理的过程中,每当得到训练好的大语言模型中的网络层的输出数据时,判断实时得到的网络层的输出数据是否符合预设条件,直至确定出判断结果为是的网络层,根据该网络层的输出数据确定预测结果,将预测结果与当前输入数据进行结合,重新输入训练好的大语言模型中。本发明能够有效降低计算量,从而提高解码效率,且适用于不同的架构的大语言模型,适用性强。
技术关键词
大语言模型
解码加速方法
加速系统
解码器架构
数据处理模块
电子设备
可读存储介质
人工智能技术
处理器
存储器
计算机
系统为您推荐了相关专利信息
重定向行走
位置预测方法
障碍物
状态更新
编码器
业务流程模型
动态管控系统
火电
设备运行数据
风电