基于语法结构嵌入学习的多样可控图像描述方法

本发明提供了一种基于语法结构嵌入学习的多样可控图像描述方法，包括以下步骤：步骤S100，获取图像的视觉特征和文本的语义特征；步骤S200，对视觉特征和文本语义特征分别进行先验近似子网络和后验近似子网络的学习获得先验潜在变量和后验潜在变量，获取先验潜在变量和后验潜在变量之间的KL散度；步骤S300，利用视觉特征、先验潜在变量和后验潜在变量和一系列[MASK]作为输入，采用非自回归目标函数预测词性标注；步骤S400，利用视觉特征先验潜在变量和后验潜在变量和文本生成描述，获取图像描述生成优化目标；步骤S500，对非自回归目标、图像描述生成优化目标和KL散度所构成的损失函数进行优化，得到生成最优图像描述的神经网络。