基于蒸馏的端侧大模型的量化方法、系统、装置及介质

本发明属于人工智能技术领域，涉及一种基于蒸馏的端侧大模型的量化方法、系统、装置及介质，所述量化方法包括：1)通过权重量化和激活量化对由N层transformer结构层构成的目标大模型M进行模拟量化，以得到模拟量化的大模型2)基于所述目标大模型M和模拟量化的大模型对所述模拟量化的大模型的每层transformer结构层进行逐层蒸馏，以得到初步量化的大模型3)基于所述目标大模型M和初步量化的大模型对所述初步量化的大模型进行端对端的量化参数优化训练，以得到最终量化的大模型其通过逐层蒸馏和基于自蒸馏的端对端量化参数优化训练，避免了大模型量化需要大量算力的问题，具有可靠性、扩展性和易用性。