一种基于惯性测量单元特征融合的语音识别方法

本发明提出了一种基于惯性测量单元特征融合的语音识别方法，包括以下步骤：将加速度计和陀螺仪的六轴数据合并成RGB特征图，得到加速度计和陀螺仪的时频特征图；通过多层的CNN分别获取高层特征；加速度计和陀螺仪的高层特征分别通过通道注意力模块增强，再通过空间注意力权重对加速度计和陀螺仪的特征进行相互校准；对空间注意力校准过后的特征使用门控融合模块进行特征融合，融合特征过FPN模块，进行多尺度融合，最后通过分类器模块分类和识别。本发明通过融合加速度计和陀螺仪的多轴数据，可互补信息扩展有效感知范围，共同还原声音特征，实现在超低采样率下对无线耳机佩戴者人声与耳机扬声器声音的识别。