基于多源图像融合的井下煤矸目标检测方法及系统

本发明属于井下煤矸目标检测技术领域，具体公开了一种基于多源图像融合的井下煤矸目标检测方法及系统。针对在井下复杂环境中煤矸的多样性和相似性、而传统的单一传感器无法有效进行识别的问题，本发明搭建了基于改进RT‑DETR模型架构的井下煤矸目标检测模型。其中在模型输入方面，本发明同时采集煤井下运输环节中的矿物颗粒的可见光图像和红外热成像图像。在模型架构方面，本发明在原有的RT‑DETR模型基础上，通过引入了双模态分支，并设计了稀疏尺度内特征交互模块、跨尺度特征聚集模块、适用于跨模态信息交互的特征融合模块等结构，得到改进的RT‑DETR模型，利于提高井下煤矸目标的识别准确率。