一种基于多模态数据融合的档案知识库构建与检索方法及系统

本发明公开了一种基于多模态数据融合的档案知识库构建与检索方法与系统，方法包括：清洗各异构档案数据，用CNN提取图像特征，Transformer提取文本特征，音频转文本后同理，生成统一特征向量，依档案编码关联构建元数据；创建图数据库实例，定义节点与关系类型，导入实体、关系，存储特征向量与元数据；把特征映射到高维共享语义空间，构建正负样本对更新嵌入层参数，模态内用自注意力、模态间用共享注意力机制，依档案特性调权重，生成统一知识表示；分割多模态数据转向量存入数据库，采用分层索引并按需优化；用RAG技术向量检索相关文档片段，借助大语言模型生成回答，提供会话反馈。本发明提高了档案检索效率与准确性。