一种基于异构空间融合和双维度注意力的语音增强方法

本发明公开了一种基于异构空间融合和双维度注意力的语音增强方法，主要涉及语音信号处理的语音增强技术领域；包括步骤：S1、输入端采用两个不同空间特征的分支进行馈送，其中，一个分支首先通过STFT将语音波形数据转化为语谱图，然后使用ODConv模块从语谱图中提取关键信息；另一个分支将语音数据输入到自监督模型中，提取高层语义信息；S2、通过级联操作将两个分支输出的特征在时间维度上进行融合，然后将其输入到DDA模块中；S3、通过前馈层对数据进行处理后输出；本发明能实现跨越各个维度的关键信息的整合与提取，对conformer模型进行强化，增强其不仅在时间维度上的特征提取能力，而且在频率维度上的特征提取能力。