基于多模态信息处理的智能问答方法、装置及电子设备、存储介质

本申请公开了一种基于多模态信息处理的智能问答方法、装置及电子设备、存储介质，所述方法包括响应于用户输入的问题，采用LLM模型处理所述问题得到处理后的问题；将所述处理后的问题向量化处理，得到向量化问题并进行知识库向量化处理，所述知识库向量化处理包括：将每种模态分开并行处理以及将多种模态混合共同处理的两条处理途径，所述将多种模态混合共同处理时采用联合向量化模型；将所述向量化问题与多模态信息融合后，输入LMM模型以生成响应内容，所述多模态信息是根据所述向量化问题检索得到的。通过本申请优化了智能问答系统，提高检索效率且返回高相关性结果。