大模型的部署方法、装置、设备、介质和产品

本发明公开了一种大模型的部署方法、装置、设备、介质和产品，涉及人工智能技术领域，包括：响应于用户对云端服务器中初始大模型的结构配置操作，生成待量化大模型；其中，待量化大模型与本地终端中的待部署大模型具有相同的模型结构；采用至少一种大模型量化方法分别对待量化大模型进行模型量化，生成至少一组候选模型量化参数，并从候选模型量化参数中确定目标模型量化参数；将目标模型量化参数发送至本地终端，使得本地终端根据目标模型量化参数对待部署大模型进行模型部署。本发明利用云端服务器进行模型量化，使得模型量化流程不受本地终端硬件上的限制，提升模型量化的效率及精度，进一步提升待部署大模型的推理性能与效率。