轨道场景预测方法、装置、设备及介质

本发明提供一种轨道场景预测方法、装置、设备及介质，涉及轨道感知技术领域，轨道场景预测方法包括：获取轨道场景中当前帧对应的RGB图像、RGB图像对应的深度图、RGB图像对应的法线图、RGB图像对应的文本提示和生成任务指令；将RGB图像以及对应的深度图、法线图、文本提示和生成任务指令输入轻量化扩散模型，得到轻量化扩散模型输出的生成任务指令对应的轨道场景预测视频；轻量化扩散模型是基于关键时间步的各样本图像对应的样本深度图、样本法线图、样本文本提示对初始轻量化扩散模型训练得到的。本发明通过使用关键时间步的多模态数据训练的轻量化扩散模型减少了模型的计算参数，加速了模型的预测速度和准确性。