摘要
本发明属于人工智能与信息检索领域,提供了一种基于结构语义图嵌入的多模态数学文献检索方法及系统,将文献内容进行转换,形成三元组结构,提取三元组结构中的LaTeX公式的表达式,构建抽象语法树,将抽象语法树转化为结构语义图,利用预训练的模型对结构语义图进行编码,提取语义嵌入向量,形成公式嵌入向量;利用预训练语言模型对三元组结构的正文段落进行语义建模,生成文本嵌入向量;基于公式嵌入向量和文本嵌入向量,构建检索索引结构;响应于用户的查询请求,对查询请求进行模态识别,根据识别的模态进行处理,生成语义信息,根据所述语义信息在检索索引结构进行查询。本发明提高了数学文献检索的准确性。
技术关键词
文献检索方法
抽象语法树
三元组
数学
预训练语言模型
文本
语义向量
生成结构
索引
卷积网络模型
表达式
深层语义匹配
格式
文献检索系统
句法分析方法
视觉检测识别
融合策略
元素
监督学习算法