一种零样本图像文本转换方法及装置

本发明公开了一种零样本图像文本转换方法及装置，用于解决现有的零样本图像文本转换方法导致生成的输入图像的文本描述的准确度较低的技术问题。方法包括根据获取的文本语料库进行实体表征训练，生成目标实体表征矩阵；采用预置图文对齐表征模型和预置语言处理模型根据文本语料库中的模型训练文本进行训练嵌入提取，生成待训练硬软嵌入；基于预置交叉熵损失函数，根据待训练硬软嵌入对初始解码器模型进行模型训练，确定目标解码器模型；通过预置图文对齐表征模型和预置语言处理模型根据待转换图像和目标实体表征矩阵进行目标嵌入提取，生成目标硬软嵌入；采用目标解码器模型根据目标硬软嵌入进行文本转换，生成待转换图像对应的文本描述。