基于多模态数据融合的环境音事件检测方法

本发明涉及环境音事件检测技术领域，具体涉及一种基于多模态数据融合的环境音事件检测方法，利用麦克风阵列、摄像头和传感器同步采集音频、视频及环境数据，形成多模态数据源。对采集到的多模态数据进行预处理，以提高数据质量和后续分析的准确性。从处理后的数据中提取关键特征，并将这些特征进行融合，形成多模态特征。构建深度学习模型，并使用多模态特征进行训练，以获得能够识别环境音事件的模型。将训练后的模型进行剪枝、量化和知识蒸馏等优化，部署在边缘设备上，实现实时的初步特征提取和事件检测。解决了现有技术中环境音事件检测方法存在的鲁棒性差、实时性不高以及泛化能力有限的问题。