基于LLAVA大模型和图注意力神经网络的图文对匹配方法

本发明提出了一种基于LLAVA大模型和图注意力神经网络的图文对匹配方法，仅用文本来理解图片的语义信息较为单一，难以全面捕捉复杂场景中的深层含义，将文本提示和原始图片数据输入进LLAVA大模型中，得到新的对图像的描述文本，从而将大模型融入模型之中，提供了一个额外的语义桥梁，能够更好地理解图像内容；在多标签任务中，不同标签之间可能存在某种关联或竞争关系且在面对复杂任务时，模型可能难以根据具体场景动态调整对不同信息的重视程度，将标签名，文本提示和文本信息同时输入图注意力神经网络中，从而能够自动学习到不同节点的重要性及其相互关系，即文本、文本提示、标签名的重要性及其相互关系，从而实现对输入信息的自适应处理。