一种基于细粒度早期退出以及动态词表裁剪的预训练大语言模型推理优化方法

本发明属于预训练大语言模型技术领域，更具体的说是涉及一种基于细粒度早期退出以及动态词表裁剪的预训练大语言模型推理优化。包括：S1、获取预训练大语言模型以及校准数据集，对预训练大语言模型进行细粒度设置，同时设置置信度估计模块的退出机制；S2、将所述校准数据集输入细粒度设置后的大语言模型进行推理，记录每一注意力层和FFN层的未归一化分数Ll，所述未归一化分数Ll是由注意力子层或FFN子层特征嵌入经过置信度估计模块生成；S3、基于预训练模型预测结果、未归一化分数Ll以及预设的裁剪规模K，计算裁剪起始层p；S4、利用所述裁剪起始层p与裁剪规模K更新置信度评估模块，得到最终预训练模型。