图像-信号双模态融合的汽车衡异常行为检测方法及系统

本发明属于异常行为识别技术领域。提供了一种图像‑信号双模态融合的汽车衡异常行为检测方法及系统，从监控视频中提取单帧图像、多帧图像叠加后的光流图以及对应的称重信号；根据多个依次连接的嵌入CBAM注意力机制的卷积块，得到单帧图像的图像特征；根据多个依次连接的Mamba模块，得到光流图的光流特征；将称重信号依次经自注意力处理和前馈神经网络处理后，得到称重特征；将图像特征、光流特征以及称重特征进行特征级融合，得到融合特征，根据所述融合特征进行行为分类，得到行为分类结果；本发明通过引入CBAM注意力机制和Transformer编码模块，有效的提升了行为识别的准确性，减少了对伪异常动作的误识别。