一种基于多模态数据的环境噪声监测方法

本发明提供一种基于多模态数据的环境噪声监测方法，涉及环境监测技术领域，包括以下步骤：S1:同步采集环境中的多模态数据，多模态数据包括原始声学信号、气象数据及视频图像数据；S2:数据处理与特征提取；S3:基于频谱图的信噪比与时域方差动态调整自注意力机制的头数与权重计算方式，再基于调整后的自注意力机制提取声纹特征向量；S4:将声纹特征向量、气象特征向量及视觉特征向量沿特征维度拼接为多模态特征矩阵，并对多模态特征矩阵进行加权融合，生成融合特征向量；S5:噪声分类与预警；本发明通过融合声学信号、气象数据及视频图像三种异构模态信息，结合跨模态自注意力机制实现特征加权融合，解决了单一传感器数据局限性问题。