隧道凿岩炮孔视觉感知方法及系统

本发明涉及基于计算机视觉的隧道凿岩炮孔感知技术领域，具体涉及隧道凿岩炮孔视觉感知方法及系统，感知方法包括：采集炮孔红外图像与RGB图像；标注炮孔数据集；对炮孔检测模型进行训练；将待检测的图片或实时视频流输入到训练好的炮孔检测模型中，得到炮孔中心的三维坐标；机械臂末端移动到炮孔中心处；调整机械臂末端方位；感知系统包括多源数据感知模块、炮孔定位检测模块和炮孔轴向方向检测模块。该方法及系统基于红外热图像对隧道掌子面炮孔进行检测识别，同时优化深度学习模型以满足边缘设备部署需求，使检测模型能够适应隧道作业要求，充分提高作业的工作效能，保证作业任务自动化且安全可靠地执行，降低作业环境对人的安全隐患。