基于大模型的多模态智能问答系统及构建方法、装置

本申请提供一种基于大模型的多模态智能问答系统及构建方法、装置，该方法包括：对PDF文档进行区域识别，得到表格区域图片、文字区域图片和/或图像区域图片；对Word文档进行解析，得到Word文档的段落内容，段落内容是由第一文本、表格数据和/或Word图片构成的；构建知识库；其中，知识库中包括文档切片的向量表示；文档切片是基于表格区域图片、文字区域图片和/或图像区域图片确定的，或者，文档切片是基于段落内容及其对应的章节信息确定的。可见，本申请可以对PDF文档进行版面识别，还可以对Word文档进行目录章节的识别，基于此构建知识库，可以提升多模态文本问答召回的语义完整性和连贯性，提升回答准确性。