一种基于大模型的多模态文档检索增强生成方法

本发明属于多模态数据处理技术领域，具体涉及一种基于大模型的多模态文档检索增强生成方法，包括：接收用户针对多模态文档输入的查询内容；采用嵌入式模型对查询内容进行处理，生成表征用户查询语义信息的查询向量，并存储在向量数据库中；对多模态文档进行解析，得到长文本信息，采用递归分块策略将长文本信息切分为数据块，对数据块进行编号标记；采用嵌入式模型对数据块进行向量化处理，以生成文档向量并存储至向量数据库中，构建分层索引结构；基于查询向量在向量数据库中进行检索，返回检索结果；利用大语言模型对检索结果进行处理，生成符合用户查询意图的响应内容。本发明能够有效解析和处理多模态文档，提高解析的准确性和全面性。