一种基于预设Schema结构的大语言模型高效推理方法和系统

本申请提出了一种基于预设Schema结构的大语言模型高效推理方法和系统，将Prompt提示和预设的Schema结构发送到大语言模型服务端并解析Schema结构的推理部分和停止条件；若Schema结构的字段之间存在关联，则进行串行推理填充，将Prompt提示与预设Schema结构的一个字段进行拼接并作为大语言模型的输入，逐个token词元生成该Schema结构的字段对应的字段值并对推理部分进行字段值填充，进行停止生成校验，若还有预设Schema结构的字段未生成字段值，则将Prompt提示与预设Schema结构的下一个字段进行拼接并重复本步骤；在所有的预设Schema结构的字段都生成字段值时输出完整的结构化数据。本申请使用一次请求预设Schema结构填充式推理，提升了大语言模型输出的鲁棒性和响应速度，能在工作流中与其他组件稳定交互。