大语言模型的压缩监督方法、装置、设备、介质及产品

本申请涉及大语言模型技术领域，特别涉及一种大语言模型的压缩监督方法、装置、设备、介质及产品，其中，方法包括：获取文本数据，其中，文本数据为包括多个字符或句子的文本数据；将文本数据输入大语言模型，大语言模型输出回答数据；根据文本数据和回答数据生成监督数据集，基于监督数据集对大语言模型进行模型压缩，并基于回答数据监督大语言模型的模型压缩过程，以得到与大语言模型对应的目标压缩模型。由此，解决了相关技术中模型压缩的校准数据集直接使用人工编写的通用语言建模数据，且直接使用人工响应进行监督，导致模型压缩的性能下降，准确性较低等问题。