基于Transformer融合声音和图像的泥石流预警系统及方法

本发明涉及一种基于Transformer融合声音和图像的泥石流预警系统及方法，包括前端采集模块、边缘计算模块以及远程告警模块，本发明能够同步采集监测区域的可见光图像和环境声音信息，并通过通信模块将采集数据实时上传至云端服务器；云端模型基于Transformer结构，对声音与图像特征进行深度融合分析，并结合合成数据与数据增强策略，有效提升模型对泥石流发生前微弱征兆的识别精度和系统的整体泛化能力。本发明可广泛应用于泥石流高发区域，满足复杂环境下对地质灾害高频次监测、智能识别与快速预警的实际需求，解决现有系统模态单一、识别精度低、布设困难等问题，提升地质灾害监测系统的智能化水平与响应效率。