混合专家语言模型优化方法、装置、设备、介质及产品

本申请涉及大语言模型技术领域，特别涉及一种混合专家语言模型优化方法、装置、设备、介质及产品，其中，方法包括：获取混合专家语言模型的下游任务训练集；根据下游任务训练集进化搜索混合专家语言模型中专家模型的需要保留数量和需要激活数量；根据需要保留数量和需要激活数量的至少一个优化混合专家语言模型，其中，根据需要保留数量降低专家模型的总数量，根据需要激活数量降低专家模型的激活数量。由此，解决了相关技术中对于混合专家语言模型的优化，导致优化后的混合专家语言模型的性能受限等问题。