一种结合检索增强生成的企业文档查询多模态问答系统

一种结合检索增强生成的企业文档查询多模态问答系统，涉及信息技术领域，旨在提升企业文档的信息查询效率和准确性。适用于文本和图片的查询，由检索增强生成与多模态技术结合构建而成，利用算法将现有文本和图片进行向量化，并存储至向量库中，再通过对比学习拉进相同语义的文本和图片在向量空间中的距离；接着对用户问题中的文本和图片进行向量化，并在向量库中匹配；最后将匹配结果与问题进行拼接，并放入提示词(prompt)中传入大模型，获得答案，以此实现企业文档中的多模态问答。实验证明本发明提出的多模态问答系统能够针对企业文档的多模态数据做出准确、高效的回答，有效降低了人工成本，提高了企业信息查询的效率。