一种结合yolov8与UIE模型用于军事领域的图文多模态实体关系抽取的方法

本发明提出了一种结合yolov8与UIE模型用于军事领域的图文多模态实体关系抽取的方法。对于自然语言处理领域中多模态的问题，考虑使用图文分开抽取并且进行结合输出的步骤进行，即使用经过微调重新训练过后的通用信息抽取模型UIE用于基本的文本信息抽取，得到关系三元组(头实体，关系，尾实体)；将yolov8用于图像中的目标识别，识别的物体类型聚焦在军事领域的飞机类型中，其识别的精确程度可达到我们定义的schema中的具体型号，即做到细粒度识别程度，用精确的型号识别结果进行输出，可以达到军事领域的图文多模态实体关系抽取的效果。本发明，基于军事领域背景，分别结合目标检测和文本信息抽取的技术，实现飞机类型细粒度识别的精度效果，得到输出关系三元组的结果。