多模态信息抽取指令数据集的构建方法、抽取模型及抽取方法

本发明涉及计算机视觉技术领域，公开一种多模态信息抽取指令数据集的构建方法、抽取模型及抽取方法。构建方法包括：针对不同模态数据根据抽取任务设计不同提示词模板；发送信息抽取请求，调用开源多模态大模型以获取多模态数据的实体、关系、属性、事件信息；运行提示词模板的执行程序，输出初始Json结果；筛选出符合标准的Json结果为初筛Json结果；从初筛Json结果中筛选出符合标准的Json结果为校核后的Json结果，由多模态数据对应的多个校核后的Json结果构成多模态信息抽取指令数据集。多模态信息抽取模型应用多模态信息抽取指令数据集且基于有监督指令微调训练获得。本发明能纾解多模态信息抽取指令数据集不足及多模态大模型幻觉问题，提高多模态信息抽取的准确率。