一种基于多模态联合表征的水声目标识别系统及方法

本申请提供了一种基于多模态联合表征的水声目标识别系统及方法，该系统包括多模态特征提取器、特征融合模块、融合特征提取器和全连接层。系统处理过程包括：通过多模态特征提取器的波形网络和谱图网络，分别提取基于波形和谱图的多模态特征，这种双路结构设计允许网络从不同的角度捕捉水声目标的特征，增强了对信号特性的理解；通过特征融合模块融合谱图和波形两种特征信息，利用多头注意力机制将这两种特征进行融合；最后，构建融合特征提取器对全局特征进行提取。本发明系统在两个广泛使用的船舶辐射噪声数据集上取得了非常有竞争力的结果。实验结果表明，在保持较低参数量的前提下，本发明系统的性能超越了传统的基于波形和基于谱图的模型。