摘要
本申请提供多模态知识图谱补全模型训练方法、补全方法及设备,涉及基于特定计算模型的计算机系统领域,方法包括:采用多模态知识图谱补全模型提取图像块特征向量、词特征向量和结构特征向量以及对应的视觉标记、文本标记和结构标记;并基于各个视觉标记、文本标记和结构标记,以图注意力机制获取各个实体的多模态融合特征数据;根据各个多模态融合特征数据对原始多模态知识图谱进行补全并计算补全后多模态知识图谱的目标损失以优化多模态知识图谱补全模型。本申请能够在补全模型训练过程中实现细粒度的多模态特征提取和应用,能够有效提高补全模型训练过程的可靠性及有效性,进而能够提高多模态知识图谱补全的准确性及可靠性。
技术关键词
多模态
模型训练方法
实体
图像块
视觉特征提取
融合特征
标记
文本
特征提取模型
知识图谱补全方法
注意力模型
预训练语言模型
注意力机制
数据
多层感知机
语义关联度
系统为您推荐了相关专利信息
数字孪生
多模态特征
信道配置
融合特征
信道特征
车辆定位管理方法
车辆周围环境图像
疲劳预警系统
车载扬声器
管理中心
信息提取方法
采样率
分块压缩感知
图像统计信息
Canny算子