一种基于经验分位排序的离线强化学习策略优化方法及系统

本发明公开了一种基于经验分位排序的离线强化学习策略优化方法及系统，旨在解决传统方法中策略优化对Q值绝对数值依赖大、训练不稳定的问题。该方法引入排序函数替代Q函数作为策略监督信号，利用经验累积分布函数（ECDF）对目标Q值进行排序，生成归一化的分位标签，刻画动作的相对优势。通过构建排序网络并最小化其输出与排序标签的均方误差，实现对动作质量的排序监督学习。策略更新阶段结合排序得分与行为克隆损失，动态优化策略，缓解策略偏移问题。本方法关注Q值相对排序关系而非绝对值，提升了训练鲁棒性与泛化能力，在多个离线任务中表现优越，具有良好的工程应用前景。