一种基于图文特征融合的图像描述系统及方法

本发明公开了一种基于图文特征融合的图像描述系统及方法，系统包括：文本特征提取模块、特征提取模块、图像编码器模块、特征融合模块和解码器模块；文本特征提取模块利用词嵌入方式将原始图像的文本映射为向量，得到原始文本特征；特征提取模块用于对原始图像进行特征提取，得到原始图像的网格特征和全局特征；图像编码器模块利用注意力机制对网格特征和全局特征进行注意力交互；特征融合模块用于将注意力交互后的网格特征和全局特征进行融合增强，得到增强后图像特征；解码器模块基于原始文本特征、全局特征和增强后图像特征进行融合，得到图像描述语句。本发明结合了图像和文本信息，利用先进的深度学习技术，实现了对图像内容的准确描述。