基于多模态情感感知与知识图谱动态增强的对话交互系统

本申请属于人工智能领域，提供一种基于多模态情感感知与知识图谱动态增强的对话交互系统。用户边缘终端获取多模态数据，采用轻量化Transformer融合网络，通过跨模态注意力融合与动态权重调整转换为融合特征向量，实时压缩融合特征向量与预设轮次内的历史对话；云端服务平台将压缩数据输入到DKGE，在对话交互过程中实时挖掘融合特征向量和历史对话中隐含的实体知识及情绪关系更新动态知识图谱，基于动态知识图谱进行知识增强处理，构建用户当前轮次交互的初始回复原型；将融合特征向量以及更新后的动态知识图谱输入到对话策略模型中，确定当前轮次对话的响应策略以及知识调用方向；边缘终端根据初始回复原型、响应策略以及知识调用方向生成实时交互回复信息。