基于多模态语义融合的BOM解析方法、系统、设备及介质

本申请涉及一种基于多模态语义融合的BOM解析方法、系统、设备及介质，该方法包括接收BOM数据，BOM数据包括文本输入数据和图像输入数据；采用BERT模型对文本输入数据进行语义特征提取，生成文本的语义嵌入向量；采用Table Transformer模型对图像输入数据进行行列结构识别，进而得到对应的表格图像，并从表格图像中提取表格内容信息；基于语义嵌入向量和表格内容信息，分析物料与工艺之间的关系，并采用图神经网络构建物料与工艺的知识图谱；通过强化学习算法对知识图谱中的映射规则进行动态优化，调整对应的字段映射规则，并生成优化知识图谱；基于优化知识图谱，将对应的BOM数据进行标准化转换，输出BOM结构化数据。本申请具有提高BOM解析效率的效果。