边缘计算环境中部署混合专家模型的优化方法及相关设备

本发明公开了一种边缘计算环境中部署混合专家模型的优化方法及相关设备，通过预先训练好的优化模型，接收各用户的推理请求，并输出这些请求向各边缘服务器的分配方案，以及各服务器的专家混合量化位宽方案。优化模型的训练过程包括：收集用户推理请求，构建预训练数据，预训练数据包括随机生成的推理请求分配和对应的专家混合量化位宽；利用这些数据预训练强化学习中的策略网络；将用户推理请求输入初始化策略网络，得到分配方案和量化位宽方案；根据这些方案对用户推理请求进行服务，得到服务质量，并将其作为策略网络的奖励，迭代更新网络参数，直至服务质量达到预设要求。本发明旨在通过动态调整边缘服务器的专家量化比特宽度，并结合用户推理请求的分配优化，实现高精度、低延迟的边缘推理服务。