一种结合预训练和能量模型的语言模型构建方法

本发明提供了一种结合预训练和能量模型的语言模型构建方法，包括：以预训练语言模型为骨架，构建基于能量的语言模型；选择一个普通的语言模型作为噪声模型或者提议模型，进行基于能量的语言模型的训练，得到最终的语言模型。本发明将预训练语言模型同基于能量的语言模型相结合，构建了模型的结构和训练方法，提出三种以预训练语言模型为骨架的能量模型结构，这三种结构既能利用预训练语言模型的原始参数，又能通过能量模型的训练方式避免了标签偏置等普通语言模型常见的问题；本发明所构建的训练框架训练出的基于能量的语言模型的性能超越了普通预训练语言模型微调后的性能。