基于多模态大模型的量化推理方法、装置、设备及介质

本发明公开了基于多模态大模型的量化推理方法、装置、设备及介质。该方法包括：激活优化基础输入激活集合确定目标量化激活集合、目标缩放因子集合及目标偏置项集合；压缩量化并比特量化基础特征权重集合得到目标量化权重集合；迭代构建基础输入激活集合、目标量化激活集合、基础特征权重集合、目标量化权重集合、目标缩放因子集合及平均绝对梯度集合确定目标损失函数，并基于其确定量化参数集合及目标特征权重集合；基于目标偏置项集合、目标缩放因子集合及基础输入激活集合得到目标输入激活集合并基于量化参数集合及目标特征权重集合推理运算目标输入激活集合确定目标推理结果。通过本发明的技术方案，能够提升推理计算效率。