端云结合的预测式解码方法、装置、用户端及服务器

本发明提供了一种端云结合的预测式解码方法、装置、用户端及服务器，方法包括：利用第一大语言模型LLM对当前的输入文本进行推理，生成推理词；将所述推理词发送至连接的服务器，以使所述服务器在接收到的推理词数量达到预设阈值后，调用第二大语言模型LLM对接收的所有推理词进行验证，并返回验证结果；其中，所述第二大语言模型LLM的参数量大于所述第一大语言模型LLM的参数量；根据所述验证结果确定当前的输入文本，并更新自身的推理词序列。本发明使用预测式解码的思想，将LLM推理中的一部分计算转移到用户端中，降低了云端的服务器的计算量，从而降低云端的成本，且保持模型的效果同云端模型相同。