摘要
一种教科书示意图结构化信息解析方法、系统及存储介质,方法包括根据教科书示意图中不同视觉对象之间的关系,按照预定义的关系类型生成合成示意图,预定义的关系类型包括并列关系、包含关系、连接关系和同类关系。利用合成示意图以及视觉对象的位置训练预先建立的关系预测器;使用训练好的关系预测器进行教科书示意图视觉对象检测以及关系预测;根据教科书示意图视觉对象检测以及关系预测结果,计算教科书示意图视觉对象间关系得分,根据关系得分进行关系内容生成,实现教科书示意图结构化信息解析。本发明依据示意图内在的规律,实现基于合成数据的示意图结构化信息解析,在样本量小、元素间关系标注信息少的情况下,增强对复杂语义信息的理解。
技术关键词
教科书
视觉对象检测
信息解析方法
关系
视觉特征
sigmoid函数
多层感知机
代表
融合特征
位置编码器
可读存储介质
数据可视化
解析系统
大语言模型
模板
残差网络
参数
多标签