一种基于Adapter网络和对比学习的代码预训练方法

本发明公开了一种基于Adapter网络和对比学习的代码预训练方法，该方法包括下述步骤：构建基于Adapter网络的代码预训练模型，获取代码语料中训练实例xd，训练基于Adapter网络的代码预训练模型，得到带有不同编程语言知识的Adapter网络；构建低资源编程语言模型；获取代码语料中的实例xc，分别构建对应的正例和负例，采用分类代价和对比学习代价联合训练低资源编程语言模型；训练得到最终的代码预训练模型，基于最终的代码预训练模型输出代码预训练结果。本发明能够在预训练多种编程语言的代码语料的同时减少已有知识的灾难性遗忘的问题，并支持新编程语言的训练，并且能够增强低资源编程语言下的模型能力。