多模态垃圾站点垃圾检测方法和系统

本发明公开一种多模态垃圾站点垃圾检测方法和系统，该方法包括如下：S1数据采集：通过图像传感器捕捉垃圾站点的实时图像数据，通过气味传感器采集垃圾站点的气味数据，通过声波传感器记录垃圾站点的蚊虫活动的声波数据；S2数据预处理：对图像数据进行去噪和增强处理，对气味数据进行标准化处理，对声波数据进行频谱分析；S3特征提取：通过残差网络ResNet模型对图像数据进行图像特征提取，通过Whisper模型对声波数据进行语音特征提取，通过MLP学习模型对气味数据进行气味分析以获得气味浓度和成分；S4特征融合：利用Transformer模型对步骤S3获取的多模态特征通过自注意力机制进行加权整合，以实现多模态特征融合，并生成综合判定结果。本发明能够综合利用图像、气味和蚊虫声波信息，准确判断垃圾站点的满溢和抛洒情况。