行业大模型的内容安全检测模块的显存优化方法、装置、设备及介质

本申请公开了一种行业大模型的内容安全检测模块的显存优化方法、装置、设备及介质，涉及人工智能技术领域，包括：加载待量化行业大模型并获取量化参数；加载待使用数据，利用分词器对待使用数据分词得到分词后数据，联立分词后数据和待量化行业大模型得到目标行业大模型；根据量化公式并基于量化参数将目标行业大模型的模型权重值和模型激活值由第一位宽的浮点数据转换为第二位宽的整点数据得到内容安全检测模块的显存降低至目标数值的量化后模型；量化参数包括第二位宽和偏移量；第二位宽小于第一位宽；若量化后模型的评估精度不满足精度要求，调整量化参数，跳转至量化步骤直至最新评估精度满足精度要求。能够实现显存优化并确保模型准确性。