摘要
本发明公开了一种基于深度学习的政务服务数字人智能交互方法及系统,所述方法包括:先获取政务服务规范政策数据与用户包含语音、文本、面部表情、肢体动作等的交互行为数据,接着分别对原始交互数据进行时空特征提取融合生成用户行为语义向量、对政策数据提取特征生成规范向量,再基于政务政策认知图谱解析用户行为语义向量得出政务办理意图向量,结合规范向量优化意图生成服务执行向量,经多模态行为解码与跨模态对齐损失函数优化,得到符合规范的交互行为序列,最终控制数字人依此序列与用户交互反馈。本发明能够提升政务服务数字人的交互反馈的针对性、规范性以及与用户实际需求的契合度。
技术关键词
政务
语义向量
智能交互方法
意图
智能交互系统
序列
面部动作单元
文本
跨模态
多轮对话
时空注意力机制
多模态
面部特征
时序特征
实体关系抽取
时序依赖关系
生成用户
手势
数据
系统为您推荐了相关专利信息
识别手势动作
手势动作识别模型
意图识别方法
蒙特卡洛
动作意图识别
车辆队列协同控制
混合交通流
LSTM模型
加速度
车辆行驶意图
三维运动数据
运动特征
交互方法
屏幕显示内容
按键信息
自动问答方法
情感类别
sigmoid函数
语义特征
策略