一种多模态面部动点数据与声带运动数据的数据处理方法及系统

本发明公开了一种多模态面部动点数据与声带运动数据的数据处理方法及系统。该方法包括提供文本、采集正常人发声时的面部连续图像或视频与喉部振动数据、预处理数据、提取时间特征与空间特征、建立中文发声的面颈部运动模型，以及聋哑人依照模型进行模仿发声并获取反馈。该系统包括深度摄像头、喉部振动传感器和麦克风，通过综合利用多模态数据，为聋哑人提供即时反馈，降低学习门槛，提高交流效率，适用于全球范围内的聋哑人群体。该发明促进了语音发声训练，具有广泛的应用前景和社会意义。