摘要
本发明提供一种声学事件检测方法及装置、电子设备、存储介质。该方法包括:获取目标区域中的多模态传感器数据和表征声学事件的音频数据;基于卡尔曼滤波和图神经网络模型,对多模态传感器数据和音频数据进行时空融合,得到目标区域的融合数据;基于经过训练的CNN模型和LSTM模型,对融合数据进行特征提取,得到表征声学事件的融合特征;对融合特征进行指纹编码,并基于指纹编码在预设的声学事件指纹库中进行匹配,得到目标区域的声学事件类型。本发明能够提高复杂场景中的声学事件检测效果。
技术关键词
声学事件检测方法
多模态传感器
融合特征
神经网络模型
数据
卡尔曼滤波
指纹
音频
编码
事件检测装置
场景
时序特征
LSTM模型
决策树算法
电子设备
可读存储介质
训练样本集