一种基于宽度学习的自然语言理解模型训练方法及系统

本发明公开了一种基于宽度学习的自然语言理解模型训练方法及系统，包括以下步骤：对训练数据进行预处理；将基于Transformer架构的预训练语言模型与宽度学习融合，得到融合模型；将训练数据作为基于Transformer架构的预训练语言模型的输入，利用BLS的岭回归学习机制，根据所适配的自然语言理解任务的标签，得到相应的BLS的学习评估结果；根据适配结果制定相应的自适应层冻结策略确定预冻结层。根据预冻结层、适配任务的复杂度以及当前计算资源，通过层冻结参数高效微调策略确定最终的冻结层，在未冻结层上加入参数高效微调模块，以引入的额外可训练参数实现冻结微调，得到相应微调数据对应下游任务的垂域模型。