基于大语言模型的人机对话方法、装置

本发明提出一种基于大语言模型的人机对话方法、装置，该方法包括如下步骤：基于预设的基线策略，筛选每一时间步的初始流式输入数据，得到对应的目标流式输入数据；并将每一时间步的初始流式输入数据、目标流式输入数据输入至大语言模型，分别得到第一分布、第二分布，依据第一分布、第二分布计算KL散度与置信度。最终结合KL散度与置信度确定目标生成时刻。该方法通过对比激进策略的方式确定模型的目标生成时刻，指导大语言模型在读入恰当流式输入时生成回复，准确确定了生成时刻，避免冗余延时以及不充分的流式输入情况，满足基于大语言模型人机对话的精确性和实时性的要求。