一种基于分层多模态融合的在线物联网设备固件识别方法

本发明涉及IoT设备的固件识别方法，具体为一种基于分层多模态融合的在线物联网设备固件识别方法，本发明首先对物联网设备的嵌入式网页中的DOM树、文本信息和功能代码分别提取特征并进行嵌入表示。接着，使用设计的浅层跨模态注意力机制和深度跨模态融合构成的跨模态融合层，将上述生成的嵌入实现由浅入深的模态特征融合。最后，使用设计的HNMCL损失函数来实现类内紧凑和类间分离，提升模型区分硬负样本的能力。本发明实现固件版本高效分类，可聚焦难区分负样本，增强模型在复杂多模态任务中的判别能力。该方法兼顾特征精度与融合深度，有效适配固件迭代页面变化，为多模态分析和版本识别提供解决方案。