一种语言模型动态结构化高效微调方法及电子设备

本发明公开了一种语言模型动态结构化高效微调方法及电子设备，其中方法包括：获取需要微调的自然语言模型；获取自然语言下游任务的数据集，设计提示语句，用于引导模型理解下游任务；采用数据集和提示语句对自然语言模型进行微调；其中，微调过程中包括：使用零阶优化方法更新模型的参数；使用结构化剪枝方案调整前向传播过程；使用遗传算法和随机选择方法动态调整剪枝结构；使用强化学习策略决定探索或者执行最佳的剪枝方案。本发明引入了结构化剪枝、强化学习和遗传算法来解决零阶优化过程计算开销大、训练时间长的问题。本发明可以在维持模型表现的前提下降低零阶优化在所有模型和任务上的计算开销，可广泛应用于自然语言模型微调领域。