面向施工图像的多模态知识检索方法和系统

本发明提供一种面向施工图像的多模态知识检索方法和系统，该方法包括：获取施工图像，对施工图像进行数据增强处理以生成相关施工图像；利用智能大模型对施工图像进行解析以提取施工图像的施工主体、知识领域和应用场景，并确定施工图像所涉及的知识库主题；利用多模态编码模型对相关施工图像进行向量化处理生成语义向量以此作为检索向量召回匹配的第一知识条目集；将施工图像的施工主体作为查询语句召回匹配的第二知识条目集；对知识条目集中的知识条目进行智能排序推荐；选取排名前K的知识条目，根据施工图像的解析内容、施工图像和排名前K的知识条目构建prompt工程，再次利用智能大模型进行任务解析，最终输出精准且上下文相关的答案。