基于大语言模型的多模态知识图谱构建检索方法及系统

本发明公开了一种基于大语言模型的多模态知识图谱构建检索方法和系统，其中方法包括以下步骤：接收用户上传的多模态文档；读取多模态文档信息并根据多模态文档信息生成引导性提问的问题集；根据问题集和多模态文档构建包含实体层级、属性及关系的JSON模型；从多模态文档数据中提取数据填充完善JSON模型，并验证一致性；将填充后的JSON模型映射为Neo4j节点和边，创建领域知识图谱，并设置相应的属性；根据用户输入的问题或查询需求，生成相应的Cypher查询语句，在Neo4j领域知识图谱中执行查询操作，检索相关的知识和信息；根据领域知识图谱数据信息，以自然语言的形式生成用户回；本发明能从多模态数据中自动构建层次化知识图谱，并实现高精度语义查询。