一种训练感知大模型二值化方法、系统以及在线推理方法

本申请提供一种训练感知大模型二值化方法、系统以及在线推理方法，二值化方法包括：采用交替的方式，初始化大语言模型的二值化参数；对完成初始化的所述大语言模型，进行逐层对齐训练；启动大语言模型的端到端训练，使所有二值化参数在统一损失函数下进行协同优化；对完成统一协同优化的所述大语言模型，实施基于层重要性的二值化阶数分配策略，达到最终的大语言模型，用于下游任务。本申请能够在保持精度的同时，显著降低模型体积与计算复杂度，适用于边缘设备部署和大规模在线推理等多种实际场景。