基于VPPO算法的无小区多输入输出环境的缓存优化方法

本发明公开一种基于VPPO算法的无小区多输入输出环境的缓存优化方法，涉及边缘缓存优化技术领域。生成多个独立的环境实例且并行运行；基于多个独立的环境实例和价值网络对策略网络进行训练，得到训练完成的策略网络；将当前边缘服务器的缓存比例输入训练完成的策略网络，得到边缘服务器的缓存比例的调整。采用多环境并行交互模拟复杂动态场景，并行采集多场景数据，提升模型对动态变化的适应和决策能力。用Retrace优势估计适配非马尔可夫环境，通过截断权重和递归计算，处理状态转移依赖历史的情况，解决传统优势估计在这类场景的偏差问题，让优势函数计算更准，为策略优化打基础，提升模型在复杂依赖关系场景的性能。