一种基于RAG技术的多模态数据检索增强生成方法和系统

本发明公开了一种基于RAG技术的多模态数据检索增强生成方法和系统，该方法包括：使用自适应OCR识别策略对收集的图片数据进行文字识别；对收集的文档数据进行数据加载并处理为文本数据；对文本数据进行文本切块并向量化；使用向量数据库存储向量和文本块，并构建索引；对用户的输入文本进行向量化，并使用匹配算法进行向量匹配，查询对应文本；生成查询结果并展示。本发明通过对图片进行版面分析从而采用不同的OCR识别策略，提高文本识别的准确性；通过图片识别的文本和文档的文本，形成多模态数据，提高检索和生成的准确性。