一种基于语义计划指导的重排序多模态摘要生成方法

本发明公开了一种基于语义计划指导的重排序多模态摘要生成方法，涉及自然语言处理领域中的多模态摘要任务，包括：对新闻多模态数据集中的文本模态内容进行数据预处理；建模并提取新闻多模态数据集中的原始新闻文本和参考摘要的基本话语单元；根据原始文本和参考摘要间的基本话语单元的单词重叠程度实现基本话语单元对齐；加载多模态数据并分别处理为模型所需输入格式的数据形式；利用大语言模型BART结合复制机制提取重要的基本话语单元作为文本生成计划；利用提取的基本话语单元作为文本生成计划指导摘要生成。本发明通过提取基本话语单元作为关键语义信息指导多模态摘要生成，生成简洁、准确、丰富和多样化的摘要，方便用户快速获取关键信息、节省阅读时间，帮助用户更准确地搜索和获取感兴趣的新闻内容。