量化感知训练方法、装置、设备以及存储介质

本公开提供了一种量化感知训练方法、装置、设备以及存储介质，本公开涉及人工智能技术领域，尤其涉及大模型、深度学习、量化感知训练等技术领域。具体实现方案为：对预训练模型的目标线性层的融合权重进行量化操作，得到目标线性层的量化权重；其中，融合权重通过融合目标线性层的原始权重和低秩适配器的待优化权重得到；基于目标线性层的量化权重，对预训练模型进行量化感知训练，以在冻结目标线性层的原始权重的情况下优化待优化权重。