一种面向下游任务的LLM投机解码优化方法及系统

本发明公开了一种面向下游任务的LLM投机解码优化方法及系统，方法包括以下步骤：构建多个面向不同任务的对齐数据集，并利用对齐数据集构建异质草稿模型池；获取下游任务的提示词文本，利用任务分类机制基于提示词文本对输入的任务进行分类，得到分类结果；根据分类结果从异质草稿模型池中选取最优的草稿模型；利用选出的草稿模型生成猜测tokens序列，并将猜测tokens序列输入至目标模型中进行并行验证，完成投机解码优化。本发明不仅提升了大规模预训练语言模型在不同任务下的推理性能，还通过微调与任务分类的结合，增强了模型在面对多样化任务时的适应能力。