一种基于行为动作生成的离线强化学习方法

本发明公开了一种基于行为动作生成的离线强化学习方法，包括：采集智能体的第一数据集并进行预处理，获得离线数据集；构建第一扩散模型进行训练，获得最终扩散模型；针对离线数据集中的每个状态，从最终扩散模型中采集M个与状态相对应的动作，构成支持动作数据集；构建策略网络、N个价值网络、目标策略网络以及N个目标价值网络；使用离线数据集和支持动作数据集对策略网络和价值网络进行训练，并同时更新目标策略网络和目标价值网络的网络参数；使用学习到的最优目标策略网络进行决策，以使智能体在离线环境下进行强化学习任务。本发明减小了现有离线学习方法对策略学习的限制，显著提升了机器人或自动驾驶任务的完成度和执行效果。