一种用于大型语言模型的通信边云分割推理方法、装置、设备、产品及介质

本发明公开了一种用于大型语言模型的通信边云分割推理方法、装置、设备、产品及介质，包括：基于预设划分标准将大语言模型分割为客户端模型与服务器模型；通过客户端模型对待处理数据进行推理，并通过自适应编码器对中间结果进行压缩，客户端模型与自适应编码器部署在边缘设备；利用自适应解码器对压缩后中间结果进行重建，并通过服务器模型对重建后中间结果进行推理，以获得新的令牌，自适应解码器与服务器模型部署在云服务器；基于新的令牌获得新的待处理数据，并重复前述步骤，直至达到预设条件，以获得最终的预测结果。本发明既能够降低通信开销，又能增强数据隐私保护，适应不同的网络环境和计算资源，具有较好的灵活性和可扩展性。