基于RAG和多模态知识图谱的文档智能解析与问答方法及系统

基于RAG和多模态知识图谱的文档智能解析与问答方法及系统，本发明为解决现有的GraphRAG主要依赖于文本检索和生成，缺乏对图像或其他模态信息的利用，在复杂的应用场景中，导致回答的全面性和准确性受限的问题。解析多模态文档得到文本模态信息和图像模态信息；将文本模态信息转换成文本知识图谱，将图像模态信息转换成图像知识图谱；将文本知识图谱和图像知识图谱进行融合，得到多模态知识图谱；将多模态知识图谱依次输入嵌入模型和向量数据库，得到实体向量数据库。将用户的待查询问题依次输入嵌入模型和向量数据库内，得到待查询问题对应的信息，将待查询问题对应的信息输入大语言模型内，输出待查询问题的答案。本发明属于数据处理领域。