摘要
本公开的实施例公开了一种动态融合的多模态知识图谱表示学习方法。该方法的一具体实施方式包括:通过图注意力网络层,分别提取特征交互图中文本特征向量的文本注意力系数与图像注意力系数集;将特征交互图、文本注意力系数与图像注意力系数集输入至相关联的门控网络层中;将融合实体表示添加至多模态融合知识表示学习模型的损失函数中;通过线性层,将知识图谱中的结构化关系向量与融合实体表示包括的头实体向量、尾实体向量转换至同一维度空间中;根据三元组表示,通过更新后的多模态融合知识表示学习模型,对知识图谱进行知识表示识别。该实施方式进行智能问答、知识检索等任务,具有很好的实用性。
技术关键词
文本特征向量
注意力
图像特征向量
实体
图谱
图像特征提取
主节点
三元组
学习方法
图像块
多模态
线性
前馈神经网络
像素格式
文本编码器
学习装置
处理器