一种基于大型语言模型的端云协同推理方法、系统、电子设备及产品

本发明属于计算机技术领域，其目的在于提供一种基于大型语言模型的端云协同推理方法、系统、电子设备及产品。本发明通过将大型语言模型与边缘智能技术进行结合，可实现对用户需求信息的精准及快速识别，并可进一步获取满足用户需求的目标模型，本发明中，还通过对所述目标模型进行分割，采用端云协同推理的方式对所述目标模型进行端云协同推理，可提高模型的推理效率，使得边缘智能技术在对延迟敏感或带宽受限的环境中更加快速地响应，进而高效地应用于多元化的应用场景。