露天煤矿挖掘机的自动控制系统及方法

本申请公开了一种露天煤矿挖掘机的自动控制系统及方法，通过获取光谱传感器和摄像头采集的煤堆表面状态图像和煤堆光谱图像集合，并采用基于深度学习的神经网络模型对两者分别进行特征提取以捕捉煤堆的外在形态特征和内在属性特征，以得到煤堆的表面状态特征和光谱特征表示，进一步通过对表面状态特征和光谱特征进行多模态综合分析以挖掘出两者之间的本质关联特征表示，并基于此准确判断煤堆的类型。通过这样的方式，能够实现对煤堆的精准识别，从而智能化地生成挖掘任务指令，提高了挖掘效率和资源利用率。