无标记视频辅助的强化学习端到端自动驾驶系统和方法

本发明提供无标记视频辅助的强化学习端到端自动驾驶系统和方法，包括：隐动作模型学习模块，基于源域中无标记的视觉图像和目标域的视觉图像，学习所述视觉图像的隐动作信息；层级世界模型学习模块，以源域的所述视觉图像、目标域的视觉图像、执行动作、奖励信息，以及所述隐动作信息为输入，获得训练好的层级世界模型；行为策略模型学习模块，基于训练好的层级世界模型获得的当前时刻的隐动作信息及状态信息，学习车辆当前时刻的执行动作。本发明利用未标注动作标签的视频数据作为辅助信息，学习视频数据中隐藏的物理规律和行为模式，为智能体提供先验知识，以弥补离线数据分布不均的不足。