一种多重权重显著度驱动的大模型混合精度量化的词序列预测方法

本发明公开了一种多重权重显著度驱动的大模型混合精度量化的词序列预测方法，获取问答数据集，将问答数据集中的文本数据转换为token ID序列；搭建一个加载了基准参数的大语言模型，对大语言模型进行量化处理得到目标函数；将token ID序列输入至目标函数，对于下一个词序列的进行预测，根据概率分布得到最优的词序列预测结果。该方法缓解传统方法因无法适应复杂权重分布而导致的性能下降问题，同时克服动态调整机制缺失引发的模型在不同数据特征和架构设计下的性能波动，最终提升大语言模型在实际部署中的推理速度与预测准确性。