一种支持流式输入的大语言模型构建方法及系统

本发明提供一种支持流式输入的大语言模型构建方法及系统，方法包括：收集、选择数据，并进行数据预处理，利用预训练模型为基础，通过在预训练模型上进行微调，训练优化流式输入、自回归输出方式的大语言模型；预先设定数据块的大小，将用户的输入数据进行分块，以流式的方式接受用户的输入数据；将拼接数据输入给大语言模型，基于大语言模型的当前的输入数据，根据大语言模型的输出，判断是否回复用户，采取对应的动作回复用户。本发明大语言模型的响应速度得到很大的提升，大语言模型支持以流式输入、并行输出的方式响应用户的输入数据指令，达到“边听边思考边输出”的效果，尤其是在用户指令较长的场景下优势更加明显，有效提升了用户体验。