一种基于混合精度量化的多模态模型轻量化部署方法

本发明提供了一种基于混合精度量化的多模态模型轻量化部署方法，本发明的技术方案通过混合精度量化方法得到的经训练的量化多模态大模型，将其部署在电子设备上；获取为经训练的量化多模态大模型搭建能在通用CPU上执行该模型的运行环境，其中，该运行环境是通过C标准库构建的，该C标准库中包括用C语言编写的机器学习张量库GGML；利用机器学习张量库GGML，在电子设备上利用部署的经训练的量化多模态大模型进行推理，从而解决边缘端、移动终端等电子设备上部署多模态大模型的开发成本高的问题。