面向新闻定制的多模态摘要生成方法

面向新闻定制的多模态摘要生成方法，首先将图片和文本拿数据输入到基于BART的多模态编码其中，并在编码过程中实现多模态交互，同时，加入图文匹配模块以选出每张图片对应的句子，并在解码器中新增交叉注意力层；之后，构建摘要评分模型，通过计算候选摘要与新闻文本的相似度作为评分，从而选出最优摘要；计算图片对应的句子与最优摘要之间的ROUGE分数作为文本相似分数，结合经过多模态交互后的图片特征得到图文相似分数，得到图片选择概率，选取最高概率的图片为模型选择图片，生成多模态新闻摘要。系统采用B/S架构，使用轻量级Web框架Flask进行搭建，并使用Layui开源框架实现交互界面的搭建。本发明有效提高新闻多模态摘要生成的准确性及丰富性，鲁棒性强。