基于多模态的DiffusionDet小孩过闸检测装置与方法

本发明公开基于多模态的DiffusionDet小孩过闸检测装置与方法，使用RGB图像和深度图融合信息进行多模态融合的扩散去噪神经网络检测模型的网络架构，该网络架构能提取多尺度特征，并以其能够捕获高层语义信息以及细粒度细节的能力为动力，该网络架构包含两个分支，分别用于处理单目图片和深度图，将RGB图像和深度信息编码到特征空间，RGB图像包含物体的视觉外观、纹理细节和识别场景视觉方面的所需颜色信息。深度图能够提供具有物体形状和位置的空间和几何信息。再通过特征融合结合RGB图像和深度信息的优势，形成统一的特征表示。融合后的特征结合噪声框，提取ROI特征送入到检测头进行扩散逆过程去噪，最终得到小孩的检测框。