一种图像描述方法及装置

本申请公开了一种图像描述方法及装置，其中，所述方法包括：获取图像和文本指令；将所述图像和所述文本指令输入图像描述模型进行推理，得到所述图像对应的文本描述信息，其中，通过比对所述图像经过所述图像描述模型中视觉编码器输出的视觉编码，和所述图像经过所述图像描述模型中所述视觉编码器、投影层和大语言模型输出的文本描述信息，得到所述视觉编码与所述文本描述信息之间的相似度，基于所述相似度调整所述图像描述模型的参数。