基于手语识别及多声源定位的听障人群辅助系统

本发明公开了一种基于手语识别及多声源定位的听障人群辅助系统，包括有MR眼镜、手语捕捉系统和声源定位系统。所述MR眼镜用于听障人群佩戴，并实时识别手语，声源定位并可视化声音；所述手语捕捉系统通过捕捉采集的视频流中的手部运动信息，提取出关键点的位置和运动轨迹；所述声源定位系统包括有语音识别单元、麦克风阵列和多声源追踪单元。所述声源定位系统采用多种算法进行声源定位及多声源追踪。本申请基于MR技术，能够进行环境声音可视化和声源定位，将发出声音的位置和具体信息显示给聋哑人，通过聋哑人一端佩戴的MR设备就可以实现和普通人的无障碍交流，系统较为完整的满足了聋哑人对声音方面的日常需求。