一种端侧设备大模型的安全性提升方法

本发明公开了一种端侧设备大模型的安全性提升方法，该方法包括，步骤1：将安全的和不安全的QA对样本按比例随机分成训练集和测试集，输入到大模型中得到模型每层神经元的激活值；步骤2：在训练集上根据对应的激活和标签训练一个线性分类器，并使用验证集的预测精度判断该层神经元与模型安全性的相关程度；步骤3：输入常规文本到大模型中，根据激活值得到每层神经元的子结构中各参数的重要性，并与预测精度加权组合作为评价指标，根据实际需求保留一定比例的参数，并将其余参数置为零，得到剪枝后的模型；步骤4：将剪枝后的模型部署到端侧设备中。本发明旨在实现端侧设备大模型的安全性提升，确保模型压缩不会导致模型出现严重的安全风险。