一种模型推理方法及电子设备

本申请公开了一种模型推理方法及电子设备，模型推理方法包括：获取当前对话的输入提示词信息；基于模型推理，生成对应输入提示词信息的第一词元输出信息和猜测词元输出信息；其中，在推理阶段，猜测词元输出信息基于参考词元对生成，参考词元对与当前对话的属性相关。