基于多传感器融合和数字孪生的掘进机作业工序识别方法

本发明涉及一种基于多传感器融合和数字孪生的掘进机作业工序识别方法，属于煤矿智能化技术领域。包括：获取红外摄像仪和摄像头当前采集的红外图像和可见光图像并融合；将融合图像输入预先训练好的作业工序识别网络，由作业工序识别网络输出掘进机当前的第一作业工序；获取掘进机机身上安装的传感器当前采集的传感数据；将传感数据输入预先建立的掘进机作业数字孪生模型，由掘进机作业数字孪生模型确定掘进机当前的第二作业工序；根据第一作业工序和第二作业工序评估掘进机当前的作业工序。本发明基于多种传感器采集的数据，并通过作业工序识别网络和掘进机作业数字孪生模型二者互相配合，互为补充，能够增加识别结果的精确度、准确度和完整度。