一种利用人工语言进行预训练来学习迁移知识的方法及介质

本发明属于预训练语言模型技术领域，提供了一种利用人工语言进行预训练来学习迁移知识的方法及介质。本发明利用L1在句子中的统计依赖性，嵌套结构的头尾依赖性这些结构特性，来预训练自然语言任务的编码器，提升了编码器捕捉上下文词语位置和特征的能力。并且，利用语言的位置感知上下文依赖性，来进行跨语言知识传输，即“利用特定位置的相邻token来表征序列中的某token”，用句子中的单词周围的单词来表征它，解决了自然语言任务中跨语言传输编码器的问题，编码器通过聚合周围单词的信息来计算句子中单词的输出表示，解决了任何语言中大多数自然语言任务的有用归纳偏差；位置感知上下文依赖性的知识为解决其他领域的序列建模问题提供了合理的先验。