一种基于知识增强的多模态语义模型训练方法及系统

本发明涉及一种基于知识增强的多模态语义模型训练方法及系统，其中方法包括以下步骤：构建多模态数据融合模块，接收多模态异构数据并进行预处理，形成多模态特征向量；建立知识图谱嵌入层，获取不同类型知识库对应的知识图谱，提取各知识图谱中的实体对应的知识向量；建立基于知识引导的注意力机制，将各实体的知识向量与多模态特征向量进行特征融合生成融合特征向量；基于融合特征向量进行目标语义模型的训练。