一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法

本发明涉及一种一致性正则和知识蒸馏熵约束伪标签文本摘要方法，属于计算机自然语言处理技术领域。本发明包括步骤：1、将预训练语言模型进行知识蒸馏；2、对学生模型进行模型自身和模型之间的二阶段一致性正则训练；与现有技术相比，本发明方法采用基于二阶段一致性正则和知识蒸馏的熵约束伪标签技术，能够在资源有限的情况下训练出较高性能的抽取式文本摘要模型，具有很强的实用性。