一种多模态对话状态追踪方法

一种多模态对话状态追踪方法，本发明涉及自然语言处理在任务型对话领域，其旨在解决利用文本与图像的多种模态信息来追踪和预测对话状态多模态信息利用及融合不充分，缺乏先验知识技术问题。本发明方法主要包括场景筛选，利用文本模态信息筛选图像切片；模式图初始化，文本视觉先验知识初始模式图，并进行初步融合；隐藏向量计算，将对话上下文及筛选后的上下文经由模式图计算得到用于预测状态的隐藏向量；对话状态预测，将各模式图的隐藏向量融合后，预测对话状态及对话意图。本发明用于提供对话状态预测方法。