解码加速方法、装置、设备、计算机可读存储介质及产品

本公开提供了解码加速方法、装置、设备、计算机可读存储介质及产品，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：获取终端设备发送的待预测文本；将待预测文本输入至大语言模型中预设的编码层，获得编码层输出的待预测文本对应的第一隐藏状态；通过大语言模型中的语言模型头以及预设的多头模型基于第一隐藏状态进行解码操作，生成多个预测文本，多头模型中包括多个解码模块，解码模块包括多层感知机以及语言模型头，多个解码模块复用语言模型头；基于大语言模型对多个预测文本进行验证操作，将验证通过的多个目标预测文本发送至终端设备。从而提高了大语言模型在解码阶段的速度，提高了大语言模型进行数据处理的效率。