一种应用于垂直领域的多模态RAG知识问答方法及装置

本发明提供一种应用于垂直领域的多模态RAG知识问答方法及装置，涉及人工智能技术领域，本发明支持多模态输入待解答文本，包括文本、图片、音频和视频，充分利用多模态数据的语义信息。利用多个预设检索模型检索待解答文本对应的知识片段，得到多种检索结果。通过RRF算法融合多种检索结果，并用目标重排序模型计算得分进行重排，从而提高了召回率。基于检索内容及预设知识频率信息，进一步微调排序，使其更加精准，符合用户期望。结合大语言模型的自然语言理解能力和目标奖励模型，以及RAG召回的相关信息，生成最优解答数据，同时利用目标打分模型和领域专家知识，提供更专业且符合实际需求的高质量解答数据。