一种基于图生成的视频预训练方法和动作预测方法

本公开提供了一种基于图生成的视频预训练方法和预测方法。预训练方法包括：基于观察图像构建含有物体顶点和视觉动作顶点的生成图采用图及其历史图估计物体属性，将加入物体属性的图输入图神经网络，生成顶点特征；利用图生成器，基于图像编码、语言指令编码以及所述顶点特征预测未来图序列；利用视频数据集对上述步骤涉及到的网络进行训练，得到图生成模型；利用带动作标签的智能体示范数据集，采用图生成模型，预测智能体视角观察图像的未来图序列；将未来图序列加入带动作标签的智能体示范数据集训练图引导策略。使用本发明能够在视频帧内构建动作信息丰富的可迁移图，并生成未来图以为图引导策略训练提供精确和富有表现力的指导。