一种基于大语言模型的多模态知识库构建和检索方法及系统

本发明公开了一种基于大语言模型的多模态知识库构建和检索方法及系统，其中方法包括：处理图片资源，构建复合特征集，基于大语言模型处理特征集形成向量化文本，将向量化文本与文档资料的文本共建图文关联的多模态知识库，接收并优化用户问答文本，用优化后的文本检索知识库获取候选结果，重排结果，筛选高相关性内容，完成多模态知识检索输出。本发明深度解析多模态数据并提取特征，融合文本与图像信息，构建结构化知识体系；优化用户输入问题，提升多模态知识库检索的准确性与全面性，关联图文信息，满足检索需求，结合大语言模型的语言理解和生成能力与多模态知识库的构建、检索过程，在多模态知识处理中具有显著优势。