一种基于多模态感知的密码设备自动部署检测方法

本发明公开了一种基于多模态感知的密码设备自动部署检测方法，包括如下步骤：S1、获取RGB图像数据、红外热成像图像数据以及音频数据；S2、进行部署状态分类推理，输出初步部署状态分类标签；S3、采用改进的Grad‑CAM算法生成类激活热力图；S4、进行空间对齐与像素级融合，生成联合热感图像；S5、计算视觉响应强度与红外温度特征；S6、对音频数据进行短时傅里叶变换处理，生成相似性匹配评分结果；S7、根据多模态融合特征向量、部署模板规则和判定阈值，生成最终部署状态标签；S8、输出所述最终部署状态标签，并上传至部署检测系统进行记录。本发明融合多模态感知与可解释建模，实现密码设备部署状态智能识别与合规判定。