一种基于大模型与图文关联构建知识图谱节点的方法

本发明公开了一种基于大模型与图文关联构建知识图谱节点的方法，涉及知识图谱领域。方法包括：解析数字文档以提取带边界框坐标的图像和文本对象；识别文本对象的版面角色，角色体系包含标题类角色和正文类角色；针对图像对象，执行一个分层的决策逻辑进行图文关联，该逻辑优先选择版面角色为标题类角色的文本作为描述来源，若失败则选择语义相似度最高的正文类角色文本；量化一个表征该关联可靠性的关联置信度分数；生成一个包含最优文本描述和关联置信度分数的知识图谱图像节点。本发明通过利用文档的版面结构信息进行分层决策，并为每一个关联结果赋予量化的置信度，提升了知识图谱构建的准确性、可信度与可解释性。