一种基于统计特征的大语言模型推理近似容错方法

本发明提供了一种基于统计特征的大语言模型推理近似容错方法，属于电子设计自动化与计算系统的可靠性设计技术领域。本发明利用大语言模型错误统计特征，划定模型不同计算单元的错误危险区域，将大语言模型部署在基于统计ABFT电路的脉动阵列加速器上，在模型推理中，利用统计ABFT电路收集错误的统计信息，并计算判定错误的严重程度以决定是否触发纠错重算，从而减少模型重算开销；本发明统计ABFT电路能实现低成本的错误统计特征收集和错误的严重程度的判定，实现可靠、高效的模型推理，具有广阔的应用前景。