基于大模型生成和知识图谱集成的多模态关系抽取方法

本发明涉及数据处理技术领域，公开了基于大模型生成和知识图谱集成的多模态关系抽取方法，包括以下步骤：首先，利用大语言模型对图像生成描述，构建图像图，同时对文本进行解析，构建文本图，并基于标注实体链接知识图谱，构建知识图谱子图。然后，以标注实体为锚点，通过相似度计算将三者拼接，形成统一联合图，并利用图信息瓶颈技术和GCN优化图结构，提取并融合多模态特征，从而提高关系抽取的准确性和处理效率。通过多模态数据融合，显著提高了关系抽取的准确性和处理速度。利用图信息瓶颈技术和图卷积网络对图结构进行优化，消除了冗余信息，从而有效地提取和融合多模态数据中的语义特征。