基于草稿模型和多数投票的低延时大模型推理方法及系统

本发明公开了一种基于草稿模型和多数投票的低延时大模型推理方法及系统，包括：收集用户问答请求，将用户问答请求转换为前缀序列，构建三元组；构建若干个草稿模型，每个草稿模型均至少包括一个三元组编码器和一个上下文编码器；将三元组分别输入每个草稿模型中，基于所有词元的三元组和问答模型的中间隐藏状态获取每个词元的特征编码文本；基于特征编码文本构建文本序列选择决策树，同时基于每个草稿模型的权重计算文本序列选择决策树中每个节点的权重，基于多数投票者机制选取最优的特征编码文本，问答模型基于最优的特征编码文本对用户问答请求进行处理。本发明利用多个草稿模型共同推测输出，提高了推理性能，显著降低了维护成本和复杂度。