混合RAG架构的铁路多模态知识库问答系统构建方法

本发明涉及智能铁路技术领域，提供一种混合RAG架构的铁路多模态知识库问答系统构建方法，包括：1、服务器本地模型部署与微调；2、数据处理和数据库搭建；建立基于MongoDB内容存储器和PostgreSQL向量检索库的铁路规范知识库数据库管理系统；对于多组数据，则基于混合检索和RRF算法进行搜索结果的优化和合并，最后进行重排序和搜索过滤；3、多模态知识库构建；使用多模态嵌入将图片和文本嵌入到向量数据库中，同时在文档存储中存储对应的原始图片和文本，在进行混合相似度检索时获取文档存储中图片，将原始图片和文本块传递给大模型生成回答；4、多平台扩展。本发明能较佳地构建铁路多模态知识库问答系统。