基于多模态实体对齐的图片描述生成方法

本发明涉及一种基于多模态实体对齐的图片描述生成方法，属于图像处理技术领域，解决了现有技术中图像实体描述准确性不高的问题。具体步骤包括：基于包含标注实体后的图像和与其相关文章的第一样本集，训练得到多模态实体对齐模型；基于包含标注描述后的图像和与其相关文章的第二样本集，利用多模态实体对齐模型，得到实体对齐后的候选实体词；基于第二样本集和候选实体词，训练得到基于多模态实体对齐的图像描述生成模型；基于未标注描述的图像和文章，利用多模态实体对齐模型，得到对应的候选实体词，结合未标注描述的图像和文章，利用所述图像描述生成模型，得到图像描述结果，提升了图像实体选择的召回率和精确率。