摘要
本发明公开了一种基于超声的语音识别和重构方法与系统。该方法包括:采集目标的语音音频信号和对应的超声舌位图;从所述语音音频信号中获得声学特征,并基于所述超声舌位图提取对应的舌位运动特征;将所述声学特征和所述舌位运动特征拼接成总体特征,输入到经训练的语音识别模型,获得对应的文本信息;以所述文本信息和所述舌位运动特征作为输入,利用经训练的语音合成模型,获得重构语音。本发明能够将障碍语音转化为易于理解的文字以及正常语音,有利于语音障碍患者与外界进行正常交流。
技术关键词
运动特征
声学特征
语音识别模型
重构方法
音频
文本
特征提取模块
训练卷积神经网络
关键点
语音识别单元
信号采集单元
编码器
特征提取单元
重构系统
重构单元
解码器
训练集