摘要
本发明涉及人工智能技术领域,公开一种基于人工智能的数字人驱动方法,包括:步骤1,通过可穿戴设备采集学员的语音信号、面部肌电信号、瞳孔尺寸信号及手部运动信号,所述可穿戴设备包含头盔内置传感器和手部运动捕捉装置;步骤2,将步骤1的语音信号转换为基频特征向量,将面部肌电信号转换为28维肌肉激活度向量,将瞳孔尺寸信号转换为直径变化率标量,将手部运动信号转换为六自由度位姿矩阵。本发明采用多模态行为识别引擎融合微表情分析、语音应激检测与骨骼动作捕捉技术,达到实时识别学员细微异常反应的技术效果,相较于现有技术中基于预设脚本的视觉行为识别方案,解决纠偏响应延迟与安全知识记忆效果差的不足。
技术关键词
驱动方法
运动捕捉装置
可穿戴设备
行业知识图谱
语音
节点
矩阵
面部
长短期记忆网络
肌电传感器
注意力
双麦克风阵列
肌电信号处理
风险
跨模态
多模态特征融合
动作捕捉技术
系统为您推荐了相关专利信息
智能语音交互
MFCC特征
滤波器
LSTM神经网络
识别模块
栅格编码
波束成形技术
动态调节方法
生成提示音
多通道扬声器
输液状态监控系统
注意力机制算法
神经网络模型
多传感器融合
生命体征参数