一种基于深度学习的多模态自动摘要方法

本发明涉及一种基于深度学习的多模态自动摘要方法，属于计算机自然语言处理技术领域。本发明包括步骤：1、利用BERT提取文本特征，利用GoogleNet提取图像特征；2、将提取的图文特征图文特征串联成串联向量；3、将文本特征和图像特征进行融合；4、将融合文本特征输入至文本摘要的解码器，采用解码器带有掩码的交叉注意力和自注意力计算得到文本摘要词向量的自回归结果，利用束搜索选取自回归序列中概率最大的自回归结果进行文本摘要输出；5、将融合图像特征输入至Softmax层，将样本中概率最大的样本图像进行图像摘要输出；与现有技术相比，本发明采用深度学习生成文本摘要和选择摘要最相关图片，能够准确的生成文本摘要和相关的图片，具有很强的实用性。