一种用户查询信息下的智能回复方法、系统、设备及介质

本发明提供了一种用户查询信息下的智能回复方法、系统、设备及介质，该方法包括以下步骤：对用户提供的文档进行结构化处理，构建包含文档逻辑结构和多模态信息的版面知识块；将版面知识块分解为文本知识块和图片知识块，并对文本知识块和图片知识块生成嵌入向量，存储至向量数据库；结合用户查询信息，对向量数据库进行多模态检索，获得多模态检索结果；基于多模态检索结果，通过大模型输出与用户查询信息对应的回复结果。该方法通过支持跨模态检索、优化图片摘要抽取及利用结构化文档信息，能够全面理解和高效利用文档内容，为用户提供更准确、全面的搜索结果和高质量的问答服务。