面向智能家居多模态对话系统的知识抽取与挖掘方法

本发明涉及多模态对话技术领域，尤其涉及面向智能家居多模态对话系统的知识抽取与挖掘方法，其包括以下步骤：S1.智能家居多模态对话系统输入数据获取；S2.多模态显性知识图谱构建；S3.多模态显性知识表示学习；S4.多模态显性知识的推理与关系补全；S5.多模态隐性知识的挖掘与表示学习。本发明对海量非结构化文本、图片和视频进行知识提取与对齐，完成多模态知识图谱的构建，并基于语义元路径进行图谱的表示学习，通过图卷积运算提取丰富的子图信息以完成知识推理，进而补全缺失的关系。此外基于大规模预训练模型，设计挖掘隐性知识的预训练任务，引导模型学习出情感等隐性知识，能够提高对话系统的逻辑推理能力。