一种基于多模态融合的火灾烟雾图像早期识别方法

本发明公开了一种基于多模态融合的火灾烟雾图像早期识别方法，包括如下步骤：S1、采集多模态数据并进行时间对齐；S2、构建可见光分支、红外分支和光声分支，生成多模态特征并存入共享特征池；S3、在共享特征池中嵌入时空追踪模块，生成全局特征表示；S4、采用低秩矩阵分解算法生成动态背景模板，分离并去除背景噪声；S5、通过轻量化自注意力机制在共享特征池中融合多模态特征并补偿缺失特征；S6、通过稀疏特征增强算法增强早期烟雾信号，并应用多任务分类网络进行火灾状态分类和烟雾扩散路径预测；S7、通过动态反馈机制更新共享特征池以及时空追踪模块。本发明利用多模态融合、时空追踪和动态反馈方法，实现了火灾烟雾早期精准识别。