摘要
本发明属于数据处理领域,提供了一种基于嵌入同步和对齐的多模态知识图谱补全方法及系统,针对多模态融合问题设计了差异感知多源融合对齐方法,通过构建自适应融合机制,实现各模态间的语义距离的模态权重动态分配,并且将异构数据映射到了统一语义空间;同时设计对偶驱动的张量约束,能够无偏捕捉实体关系交互,提升对复杂关联的建模能力。基于此方法构建的模型MCEAS极大缓解了现有方法在异构数据融合、自适应权重分配、复杂关联建模等方面的瓶颈,在多个公开数据集的实验结果表明,该模型在命中率、排名等评价指标上均展现出优异的性能,是多模态知识图谱补全领域的创新型解决方案。
技术关键词
知识图谱补全方法
矩阵
文本
视觉
word2vec模型
语义
多模态
编码器
机制
实体
校准
多源融合
对齐方法
数据获取模块
对齐模块
处理器
创新型