一种基于近端对抗约束策略搜索的离线强化学习方法

本发明公开了一种基于近端对抗约束策略搜索的离线强化学习方法。首先通过训练的高级行为策略提供服从静态离线数据集分布但优于静态离线数据集内动作的样本外高级行为动作，作为策略约束的参考动作，提高策略约束效率；然后在静态离线数据集内动作和高级行为动作处对约束策略搜索目标进行泰勒展开近似，构建学习策略在两个足够小动作近端的对抗补偿式点‑邻域样本高效搜索，允许学习策略主动选择有限偏离静态离线数据集的分布外动作。本发明通过提供可靠的参考动作和低方差的梯度估计，可以有效选择分布外动作，突破点‑点策略约束禁止选择分布外动作的决策性能限制，缩小学习策略与最优策略的性能差异。