一种基于TTCEA的多模态时空知识图谱构建方法

本发明提出了基于TTCEA的多模态时空知识图谱构建方法，本发明首先从一份由时空数据构成的中文数据集中提取实体和关系三元组，并进行标注；再构建改进的SPN4RE实体‑关系联合抽取模型，抽取出时空实体以及他们之间关系的三元组；然后将图像数据集中的每一张图像，匹配一段包含图像中实体的时空文本，得到时空图像文本对，生成图像‑文本对数据集；接着构建TTCEA跨模态对齐模型，训练并保存在验证集表现最佳的模型，实现图像‑文本跨模态对齐；最后使用Neo4j实现知识图谱可视化。本发明通过改进SPN4RE模型并采用Chinese RoBerta替代BERT，提高了中文文本中时空实体及其关系抽取的准确率和鲁棒性。本发明提出的TTCEA模型能够更精准地融合文本与图像特征，实现跨模态实体对齐。