一种多模态知识图谱的神经符号推理方法及逻辑规则注入算法

本发明涉及知识图谱技术领域，提供一种多模态知识图谱的神经符号推理方法及逻辑规则注入算法，包括以下步骤：步骤一、构建多模态知识图谱，所述多模态知识图谱包含文本、图像、音频等多模态数据对应的实体、属性及关系，并为每个实体和关系生成初始向量表示；步骤二、利用跨模态特征融合模块对多模态数据进行特征提取与融合；步骤三、通过神经符号推理模块结合神经网络的学习能力和符号逻辑的推理规则；步骤四、运用逻辑规则注入模块将预设的逻辑规则注入到所述神经符号推理模块中。通过跨模态特征融合模块，利用BERT、ResNet‑50等模型提取各模态特征，结合注意力机制实现特征加权融合，显著提升多模态数据的语义关联捕捉能力，有效实现跨模态实体对齐。