摘要
本申请提供了一种用于知识密集型任务的知识推理方法、系统及设备,属于计算机技术领域。该方法将来自用户终端的多模态查询文本输入预置的文本识别融合模型,以确定相应的用户查询意图及其对应的匹配知识源类型;基于匹配知识源类型及多模态查询文本,从相应知识库匹配多个多模态查询数据,以构建多模态查询数据集。根据预设模态类型分组,将各多模态查询数据划分并输入多模态数据关联度量模型,以确定各多模态查询数据之间的第一关联评分;基于各第一关联评分与第一预设阈值,将各多模态查询数据进行融合处理,得到多模态融合特征信息;将多模态融合特征信息输入预设上下文感知推理引擎,以根据引擎输出结果得到多模态查询文本对应的推理结果。
技术关键词
多模态
知识推理方法
查询意图
数据
文本识别
融合特征
注意力
结构化查询语句
网络结构
Sigmoid函数
输入模块
知识推理系统
大语言模型
语义解析技术
度量
特征值
BERT模型
矩阵
终端
系统为您推荐了相关专利信息
空间多尺度
长短期记忆网络
降维算法
网格
统计特征
车间调度方法
工作条件数据
邻域搜索算法
进化算法
半导体
防鸟罩
绝缘子
绝缘套
机器学习模型
音频采集模块