文本数据的推理方法、装置、电子设备及存储介质

本申请公开了一种文本数据的推理方法、装置、电子设备及存储介质，包括：获取用户输入的给定文本数据对应的先知令牌序列；将先知令牌序列输入大语言模型得到第一部分回复令牌序列，并将第一部分回复令牌序列与先知令牌序列合并得到中间令牌序列输入多个小语言模型，基于各小语言模型每次推理得到第二部分回复令牌序列的各个先验回复令牌及各个回复令牌的先验概率；将验证令牌序列并行输入到大语言模型得到各验证令牌序列的后验概率以及各后验概率对应的后验回复令牌；根据各先验概率和各后验概率的验证结果使用后验回复令牌更新第二部分回复令牌序列，得到更新后的第二部分回复令牌序列；输出全部回复令牌序列，从而提升推理精度和效率。