基于大模型的推理方法及相关设备

本申请公开了一种基于大模型的推理方法及相关设备，涉及人工智能技术领域，包括：响应于推理指令，获取场景图片数据，基于预设大语言模型相应粒度的量化方式，对所述场景图片数据执行量化操作，得到目标图像数据，基于更改部署方式后的所述预设大语言模型的推理量化流程，对所述目标图像数据进行推理量化，得到推理量化结果，其中，所述更改部署方式后所对应的推理量化流程比更改部署方式前推理量化流程的计算量更小。本申请使用计算量更小的推理量化流程所对应的部署方式部署预设大语言模型，减少推理量化过程中的计算量，提高推理效率。