一种基于大模型的多模态RAG、装置、设备及存储介质

本发明公开了一种基于大模型的多模态RAG、装置、设备及存储介质，包括以下步骤：利用多模态技术对大规模的语料库中的文本信息进行预处理；根据预处理后的文本信息构建课件内容分片并存储至创建的索引之中；基于用户下发的问题中的预处理后的关键词，结合索引召回与问题相关的课件内容分片以生成首次召回结果；根据首次召回的结果，依据预设规则进行内容扩充，并进行二次召回；对二次召回的结果进行多维度排序；将排序后的结果与用户问题整合，通过大模型进行相关性判断，进一步筛选搜索结果。相比于现有技术，本发明通过引入多模态技术、二次召回策略以及大模型的使用大大增加了召回内容的准确度，并且提高了生成效率。