摘要
本发明公开了一种颈挂式手语传译设备及其手语语义识别传译方法,颈挂式手语传译设备包括佩戴支架,限定出绕颈空间,且包括中间连接臂和两个壳体,两个壳体分别连接在中间连接臂的两侧;图像采集单元,设置于壳体前侧,包含三维深度相机及驱动其旋转的调节机构,用于动态跟踪并采集连续手语视频;处理模块,集成于壳体内,包含主控处理器和存储器,用于运行手语识别算法;语音输出单元,与所述主控处理器电连接,用于播放翻译结果;供电单元,为所述图像采集单元、处理模块以及语音输出单元供电。本发明将聋哑人交流使用的手势语言转化为正常人易于理解的自然语言,帮助聋哑人群“说话”,解决了聋哑人在与正常人交流时信息输出的问题。
技术关键词
传译方法
关节点
图像采集单元
深度相机
联合损失函数
连续手语
颈挂式
PID控制算法
供电单元
语义库
动态运动补偿
双向长短期记忆网络
扬声器出声孔
热力图
动态位置信息
壳体
语音
轨迹