摘要
本发明涉及人工智能技术领域,且公开了一种多模态智能问答方法、系统及装置,方法包括:获取多模态数据;对所述多模态数据进行预处理,从预处理后的结构化多模态数据中提取相应的特征表示并进行融合,获得融合后的特征表示;在预先构建的知识图谱中,找到与所述融合后的特征表示相关的实体与关系,并构成实体集合与关系集合;进行权重进行调整,获得调整权重后的实体集合与关系集合;从预先构建的知识图谱中筛选出所有可能的备选答案,并利用自适应路径探索方法为每个备选答案构建导向路径;对所有导向路径进行评估优化和分配权重,从中选择权重最高的导向路径,将权重最高的导向路径所指向的备选答案作为用户问题对应的检索答案。
技术关键词
多模态
路径探索方法
智能问答方法
答案
实体
图谱
关系
卷积神经网络技术
多轮对话
智能问答装置
注意力机制
智能问答系统
长短期记忆网络
时间序列特征
视频
文本
音频
策略
数据库技术