基于面向任务引导的问答模型集群蒸馏系统的问答方法、装置及设备

本申请提出一种基于面向任务引导的问答模型集群蒸馏系统的问答方法、装置及设备，涉及大语言模型问答技术领域，通过获取待部署多问答任务目标模型集群的目标设备的设备参数值，并确定多问答任务目标模型集群的目标参数信息，进一步基于多问答任务教师模型集群中每个教师模型的多个任务引导因子，按照目标参数信息，对待训练学生模型集群进行集群蒸馏训练，得到多问答任务目标模型集群，最后将自于目标设备的目标多问答任务输入所述多问答任务目标模型集群，得到目标多问答任务的回答。该方法通过结合多个教师模型的知识，结合任务引导因子针对每个任务引导学生模型进行优化，在保持多问答任务协同推理能力的前提下实现模型高效部署，在资源受限环境下提高了问答模型集群的计算效率和部署可行性。