摘要
本发明公开了一种基于外部知识图谱的图像描述方法,包括:目标检测、外部信息检索和介绍文本生成;主要包括:对待介绍图片进行目标检测,包括图像预处理、特征提取、目标检测、后处理优化和输出检测结果;利用关键词预测模型对检测结果进行关联关键词预测,将结果输入到外部知识图谱中检索出匹配的知识子图,再输入到子图知识评估器中得到与关键词最相关的知识子图。本公开的技术方案,在进行信息检索时无需知识图谱全部信息,只关注关联关键词的局部子图信息,同时提出了一个子图知识评估器,对预测的关联关键词进行相关性排序,以确保补充信息与目标检测结果相关程度的最大化。
技术关键词
关键词
图谱
BERT模型
三元组
信息检索
文本生成模型
图像特征提取
样本
尺寸
通道
图片
序列
节点
算法
冗余
标签
因子
编码
系统为您推荐了相关专利信息
药品智能管理
预测分析方法
药品知识图谱
Apriori算法
序列
非结构化文档
审核方法
节点
语义向量
注意力机制