基于大模型和知识库融合的图文混合文档问答方法及系统

本发明属于人工智能技术领域，提供了一种基于大模型和知识库融合的图文混合文档问答方法及系统，包括：获取待处理的图文混合文档和用户问题；对所获取的图文混合文档进行图像、文本和表格的解析，结合大模型分别构建向量知识库和图知识库；在问题知识库中检索用户问题，当用户问题的相似度超过相似度阈值时，基于问题知识库回答用户问题，否则进入检索回答，完成图文混合文档的问答；在所述检索回答中，基于所构建的向量知识库和图知识库进行用户问题的检索，融合两种知识库检索结果实现图文混合文档中图像与文本的关联，得到基于大模型的带图像标识的用户问题回答，实现对图文混杂内容的高效理解和精确问答。