一种基于多模态信息抽取的工程图纸图签识别方法及系统

本发明公开了一种基于多模态信息抽取的工程图纸图签识别方法及系统，所述方法包括，获取工程图纸图像并对图像进行预处理，设定控制抽取目标和关系模式的数据结构Schema；通过训练好的图签检测模型检测图纸中的图签区域，得到每个图签的边界框坐标，将检测到的边界框坐标映射回原始图像的坐标系，并从原始图像中裁剪出对应的图签图像；对裁剪出的图签图像进行文本识别，提取出文本内容及对应的文本框坐标信息；将裁剪出的图签图像与文本识别结果输入至训练好的多模态信息抽取模型，并根据设定的Schema进行信息抽取，输出结构化的抽取结果。该方法可灵活定义抽取目标，支持二元组和三元组的统一抽取，抽取准确性高。