用于大语言模型的推理方法、装置、设备和介质

本公开提供一种用于大语言模型的推理方法、装置、设备和介质，属于人工智能技术领域。该方法包括：利用CPU和GPU协同完成多次迭代，每次迭代包括：第一任务，用于在CPU确定未完成的多个序列及其最后生成的词元标识；第二任务，用于在CPU基于多个序列最后生成的词元标识确定模型输入；第三任务，用于在GPU计算多个序列的待生成的下一词元的概率分布；第四任务，用于在GPU进行采样，以得到下一词元的标识；以及第五任务，用于在CPU基于下一词元的标识，更新多个序列的完成状态，其中，第n+1次迭代和第n次迭代异步执行，第n+1次迭代的第一任务和第二任务与第n次迭代的第三任务并行执行，第n+1次迭代的第三任务和第n次迭代的第五任务并行执行。