一种基于大模型的多模态图像数据实体关系抽取方法

本发明公开了一种基于大模型的多模态图像数据实体关系抽取方法，包括以下步骤：获取多模态图像数据，作为数据集；基于所述数据集对预先构建的大模型进行训练，获得对应的多模态图像数据实体关系抽取模型；其中，所述多模态图像数据实体关系抽取模型包括依次连接的文本转换模块、连接模块和实体关系抽取模块；将需要进行实体关系抽取的多模态图像数据输入训练好的多模态图像数据实体关系抽取模型，得到相应的实体关系三元组。本发明基于大模型针对图像输入进行实体关系抽取，提升多模态情况下大模型对数据的理解能力和处理能力，提高多模态情况下实体关系抽取的能力。