基于视觉语言大模型的知识检索方法、系统、设备及产品

本发明公开了基于视觉语言大模型的知识检索方法、系统、设备及产品，其属于人工智能技术领域，通过根据不可编辑文档以及专业领域信息构建知识库，获取query查询语句，使用大语言模型进行实体抽取和匹配，得到匹配信息，并基于知识库，使用三级递进式过滤机制对匹配信息进行三路召回，使用第三方重排序模型对三路召回结果进行融合并打分，根据打分结果和对应权重，得到综合得分，根据综合得分得到query结果集。本发明使用大语言模型提高生成结果质量，并通过构建数据库提升生成结果的溯源能力，使用三级递进式过滤机制进行三路召回操作，以保证召回结果高度相关，提高召回覆盖率，同时使用第三方重排序模型提高结果与用户需求的匹配度。