一种面向民机制造多模态数据的追溯方法和系统

本发明公开一种面向民机制造多模态数据的追溯方法和系统，获取原始多模态工艺文件，对多模态工艺文件进行文本解析，得到结构化文件；将结构化文件以页为识别单位进行切分，采用经过预训练的OCR模型对切分文件逐页进行图像识别，根据识别出的章节以及各章节下的文本内容、图片内容、表格内容形成结构化识别记录；建立结构化文件与结构化识别记录之间的数据映射关系，形成对结构化文件的溯源信息标记；将结构化文件中的文档层信息、章节层信息和区块层信息分别以实体形式存储建立知识图谱并提供多模态数据的溯源查询。本发明将文本解析结果与OCR识别结果相结合，并通过知识图谱展示溯源，满足现有民机制造过程中多模态工艺文件高精准度的溯源需求。