一种基于大语言模型增熵的文本图像匹配方法及系统

本发明涉及计算机视觉技术领域，提出一种基于大语言模型增熵的文本图像匹配方法及系统，其中包括：将数据集图像特征通过视觉注意力编码器得到原始图像编码；基于原始图像编码构建超图并通过超图神经网络生成超图图像特征；将超图图像特征与原始图像编码进行残差联结构建视觉超图适应器；利用图像特征描述生成的第一文本特征通过提示学习方法诱导大语言模型生成同义语料，得到经过增熵的融合文本特征；对融合文本特征和第一文本特征进行编码；基于多维特征编码构建超图并通过超图神经网络生成超图文本特征；将超图文本特征降维后结合原始语料特征编码构建文本超图适应器；基于视觉超图适应器和文本超图适应器计算相似度矩阵，得到相似度排名。