基于设备运维文档的大语言模型多模态检索增强问答方法

本发明属于工业领域，具体涉及一种基于设备运维文档的大语言模型多模态检索增强问答方法。步骤1：将设备运维的PDF文档转化为markdown格式文档；步骤2：基于步骤1的markdown格式文档进行多模态图像字幕的生成；步骤3：基于步骤2生成的多模态图像字幕先进行知识解析，再进行向量化编码与相似性检索；步骤4：利用步骤2生成的多模态图像字幕，并通过步骤3的向量化编码与相似性检索以辅助基于大语言模型的文本问答生成，实现基于设备运维文档的大语言模型多模态检索增强问答。针对设备运维文档这一专业性强的文档，用以解决多种模态的信息解析与理解问题。