一种基于DRL和BP的移动边缘网络协同推理方法

本发明涉及计算机人工智能技术领域，具体涉及一种基于DRL和BP的移动边缘网络协同推理方法，提出了一种大语言模型中的边缘‑终端协同推理方案，充分利用了终端设备和边缘服务器的计算能力，同时在一定程度上保护了用户的数据隐私，在资源有限的情况下，通过利用“学习以学习”范式联合解决了推理任务卸载和模型缓存问题。使用深度强化学习选择轻量级、高流行度的模型缓存到边缘服务器，并采用分布式信念传播技术解决相关的推理任务卸载问题。数值结果证明了所提出方案的有效性和优越性。借助边缘终端协作，可以提高LLM推理中的通信和计算资源利用率。换句话说，通过有效的小型模型缓存和推理任务卸载，可以有效地完成多样化的推理请求。