一阶误差补偿量化的大模型低资源开销文本理解生成方法

本发明涉及文本生成技术领域，公开了一种一阶误差补偿量化的大模型低资源开销文本理解生成方法，包括获取执行标准自回归文本生成任务的预训练大语言文本生成模型，并构建校准文本数据集；以校准文本数据集作为模型输入，对预训练大语言文本生成模型执行标准自回归文本生成任务时神经网络层的权重按照列量化顺序进行一阶误差补偿量化；采用量化后的大语言文本生成模型进行标准自回归文本生成。本发明能够提升大语言文本生成模型执行标准自回归文本生成任务时计算资源消耗，并且显著提高推理准确性和稳定性。