基于大模型量化的文本生成方法、装置、设备及存储介质

本申请实施例提供了基于大模型量化的文本生成方法、装置、设备及存储介质，应用于昇腾计算架构。通过将原始文本输入至目标大语言模型，目标大语言模型包括多个依次级联的特征提取层，每个特征提取层包括全连接层，通过目标大语言模型中的多个依次级联的特征提取层，基于原始文本对应的文本特征进行逐层级递增的特征提取，并配合昇腾计算架构的量化方法对每个特征提取层中全连接神经元的权重参数和激活值进行量化处理，输出目标文本特征，以简化全连接阶段的计算，从而实现大语言模型下的轻量级计算。基于目标文本特征生成目标文本，通过利用轻量级的大语言模型进行文本生成任务，减少了大模型在文本推理过程中的复杂计算，提高了文本生成的效率。