自监督摘要生成方法、系统、设备及介质

本申请实施例涉及自然语言处理技术领域，公开了一种自监督摘要生成方法、系统、设备及介质。使用预训练语言模型生成文档‑摘要对；通过自监督过滤器模块对所述文档‑摘要对进行筛选，得到数据集；使用专家迭代模块对所述数据集进行多轮自监督学习，迭代教师模型；将迭代后的所述教师模型的知识蒸馏到学生模型中；通过可控摘要生成模块，在训练和推理阶段引入控制属性，根据所述控制属性使用所述学生模型生成定制化摘要。通过构建一个自监督的信息理论目标，结合小型语言模型进行蒸馏和训练，降低了对大规模预训练模型的依赖。可以至少用以解决摘要生成质量低的技术问题。