一种模型推理方法和装置

本发明公开了一种模型推理方法和装置，该方法包括：对输入数据进行拆分，得到至少一个模型训练数据；根据至少一个模型训练数据，对第一语言模型进行训练，并将训练完成的第一语言模型的模型参数传递至第二语言模型；由所述第二语言模型根据训练完成的第一语言模型的模型参数，或者训练完成的第一语言模型的模型参数和输入数据，得到模型推理结果。本发明可以实现在现有上下文窗口长度的基础上对任意长度的输入数据的处理，降低了模型推理成本，提高了模型推理的效率和精度。