一种缓解大语言模型幻觉的方法及系统

本发明公开了一种缓解大语言模型幻觉的方法及系统。该方法包括如下步骤：获取大语言模型中第t个时间步的多个候选词；针对各候选词，获取大语言模型的每一层中高层神经网络的预测概率；针对各候选词，将大语言模型的每一层中高层神经网络的预测概率进行归一化处理，形成跨层预测分布，并计算跨层预测分布的熵作为各候选词的跨层熵；基于各候选词的跨层熵，对各候选词在第t个时间步下的初始预测概率进行修正，以获取各候选词在第t个时间步下的修正概率；输出修正概率的值最高的候选词，作为第t个时间步对应的输出结果。利用本发明，可以有效消除大语言模型的输出幻觉。