基于Multi-Armed Bandit的边缘设备大模型在线缓存与服务系统

本发明涉及边缘计算及大模型推理优化技术领域，提供了基于Multi‑Armed Bandit的边缘设备大模型在线缓存与服务系统，系统包括：特征信息接收模块，用于接收云端备选LLM的特征信息集合；LLM质量预测模块，用于基于特征信息集合，使用神经网络对每个LLM预测效用向量并计算UCB值和效用偏移量；边缘排序选择模块，用于对UCB值和效用偏移量之和降序排序，选择预设个数的LLM生成LLM子集并将所述LLM子集缓存后部署到边缘端；异步处理输出训练模块，用于收集服务质量数据和神经网络梯度数据，并异步地对LLM质量预测模块中的神经网络模型进行训练和参数优化更新；不断重复以上步骤实现基于Multi‑Armed Bandit的边缘设备大模型在线缓存与服务。