摘要
本发明公开了一种基于情绪识别的情感化人机交互方法、装置、设备及计算机可读存储介质,该方法包括:同步采集用户的第一模态动作数据、第二模态面部表情数据、以及第三模态生理参数数据;通过姿态估计与动态时间规整算法处理第一模态动作数据及预设的标准情绪‑动作模板,以生成动作评估分数;将动作评估分数、第二模态面部表情数据、以及第三模态生理参数数据,输入至预设的多模态融合模型进行处理,以生成量化的用户情绪等级;基于量化的用户情绪等级,确定界面调节参数及情感化反馈文本;将界面调节参数和情感化反馈文本应用于当前人机交互界面。本发明的基于情绪识别的情感化人机交互方法具有情绪识别准确、交互智能化、个性化等优点。
技术关键词
人机交互方法
人机交互界面
动态时间规整算法
姿态估计
面部
生理
参数
关节点
文本
多模态数据采集
可读存储介质
人机交互设备
人机交互装置
模板
特征提取模块
生成动作
处理器