生成式对话模型推理方法、设备、介质及计算机程序产品

本发明公开了一种生成式对话模型推理方法、设备、介质及计算机程序产品，涉及人工智能技术领域，包括：根据生成式对话模型的模型结构确定出键矩阵和值矩阵的各个输出位置；基于输出位置对生成式对话模型进行分割，得到分割后的多个模型块，并对每一模型块输出的键矩阵和值矩形作为中间状态值进行保存；将各模型块部署至目标芯片，并在目标芯片上按照生成式对话模型的先后分割顺序依次对各模型块进行推理，直到满足预设停止条件；推理过程包括：将目标相邻模型块中的前一模型块的推理结果与对应中间状态值的叠加结果作为下一模型块的输入；目标相邻模型块包括任一次循环推理过程中的最后一个模型块和下一次循环推理过程中的第一个模型块。