基于推测解码评估大模型量化质量的方法、系统、设备

本申请涉及人工智能技术领域，公开了一种基于推测解码评估大模型量化质量的方法、系统、设备，该方法包括：配置推测解码执行环境，将全精度版本模型设置为主模型，并将至少一个量化版本模型中的一个设置为草稿模型，设置确定性采样参数；向推测解码执行环境提供输入提示词，并驱动主模型和草稿模型执行推测解码过程，以生成输出词元序列；在推测解码过程中，统计由草稿模型生成并被主模型验证通过而接受的词元数量，并计算接受词元数量占草稿模型总生成词元数量的比例，得到词元接受率；基于词元接受率，确定量化版本模型的量化质量。本公开可以快速、客观且对特定量化缺陷进行准确地评估。