一种面向浓烟环境的人体目标判别算法系统

本发明公开了一种面向浓烟环境的人体目标判别算法系统。涉及多模态感知与目标检测技术领域，包括视频采集模块，用于采集热成像模态视频与近红外模态视频并传输给数据预处理模块；数据预处理模块对采集的视频进行预处理后输出对齐的热成像图像帧对和近红外图像帧对，并将热成像图像帧对以及近红外图像帧对传输至主导模态特征增强模块；主导模态特征增强模块对热成像图像帧对以及近红外图像帧对进行处理，得到增强特征图并输入至检测模块；检测模块接收增强特征图，并输出目标框位置与类别置信度，实现对人体目标的检测。本发明利用热成像与近红外双模态图像输入，结合主导式单向交叉注意力机制与自注意力机制，实现对人体目标的高鲁棒性检测。