摘要
本发明公开一种基于多模型协作的能源领域智能知识库问答系统,旨在解决能源领域多模态文档问答中数据类型识别、图像结构化提取及跨模态索引问题。系统包含13个核心模块,通过协同调度模块实现多模态大模型与大语言模型的动态协作,可识别用户问题涉及的数据类型并调用对应模块;能从文档中提取图表、流程图等图像的结构化信息并编码;通过统一语义向量实现跨模态检索。答案整合时附带来源引用,确保可溯源。该系统提升了能源领域复杂文档问答的准确性与效率,适用于含多类图像的专业文档问答场景。
技术关键词
多模态
文本
意图识别
模块
跨模态
智能知识库
问答系统
分布式系统部署
多模型
图像类别标签
答案
语义向量
能源
图像分类模型
数据接口
索引
动态协作
问答场景