一种基于核心知识推理的场景图生成方法及控制系统

本申请公开了一种基于核心知识推理的场景图生成方法，属于深度学习技术领域。针对现有技术中，预测许多无意义或知识表达少的标签，还会出现过度预测的问题。本申请的方法中，目标检测过程在数据集中提取出图像中的目标边界框和场景布局，并得到粗略的实体标签；然后二者分别被送入核心实体推理与核心关系推理中进行知识提取；视觉部分通过对场景图中基于外观和空间的视觉信息进行挖掘，对图像中的主宾进行由粗到细的提取以得到核心主体；常识部分通过重新连接主客体对再与上下文特征空间中的常识进行匹配，得出主宾对的核心关系。本申请的优点为，核心知识推理方法经过合理的去偏策略，挖掘潜在的核心知识使模型生成更为准确且关系丰富的场景图。