基于注意力和状态空间模型的图像字幕方法

本发明用于图像字幕生成技术领域，具体公开了基于注意力和状态空间模型的图像字幕方法，包括以下步骤：S1：构建基于注意力和状态空间的图像字幕动态混合网络模型。该基于注意力和状态空间模型的图像字幕方法，本发明中以编码器解码器为架构框架，构建混合编码器，将图像的多模态特征作为编码器输入，采用注意力机制捕捉模态特征内的关联性，结合状态空间模型提取序列化特征，并通过自适应门控机制进行融合，为解码器提供丰富的特征信息；解码器中词嵌入与多模态特征交互，获得词嵌入与多模态特征的依赖关系，设计动态融合模块实现多模态的动态融合，可充分利用图像的多模态异构特征提供更加丰富的特征信息，生成更符合人类认知的句子描述。