基于多模态大模型的知识融合检索方法及系统

本发明公开了基于多模态大模型的知识融合检索方法及系统，涉及知识图谱检索技术领域，包括，获取多模态信息并分别提取文本特征、图像特征以及语音特征，采用跨模态编码器进行跨模态对齐构建节点向量形成知识图谱；构建节点间多关系嵌入表示，并计算节点之间多关系感知消息通过注意力加权机制更新节点表示，同步采用变分混合专家网络近似节点向量的潜在分布并融合获取融合节点表示，将更新节点表示和融合节点表示进行拼接得到优化节点表示；采用多头自注意力机制再次对优化节点表示进行优化输出最终节点表示，并基于用户查询匹配查询结果，将查询结果进行展示并形成查询记录进行存储。本发明提高了知识图谱构建和查询检索的准确性和效率。