轻量化自然语言处理大模型训练方法

本发明公开了轻量化自然语言处理大模型训练方法；包括如下步骤，获得处理语言数据；得到已标注的增强数据集；通过语义复杂度动态激活子网络的稀疏化机制，计算得到激活掩码；通过激活掩码的参数敏感度生成量化位宽；对混合精度量化策略进行交叉反馈调节；对训练的学生模型进行评估。本申请通过动态稀疏激活、混合精度量化及协同优化，解决了大模型轻量化中的静态策略僵化、量化精度损失、知识迁移低效等核心问题；动态稀疏激活替代传统静态剪枝，减少语义损失；为了实现对增强数据集进行优化的特征提取，采用融合优化特征；混合精度量化有效的实现对计算的复杂程度进行降低。