基于RGBD图像的起重机端到端运动轨迹预测方法

本发明公开了基于RGBD图像的起重机端到端运动轨迹预测方法，属于智能控制领域，包括训练和预测两个阶段：训练时输入起重机作业时采集的驾驶室视角的RGB图像序列和深度图像序列以及操作端的运动控制指令，基于语义分割网络对RGB图像进行分割得到语义分割图，同时融合类别索引图和深度图，得到语义深度图；RLSTM‑Transformer双分支网络提取语义分割图和语义深度图的特征并预测运动控制命令。最小化预测值与真实值之间的偏差，训练上述神经网络模型，得到预测模型；预测时将RGB图像和深度图像输入训练好的语义RLSTM‑Transformer起重机端到端运动轨迹预测模型中，模型预测输出起重机的运动控制命令。