一种基于Transformer模型的代码生成和代码注释的双重模型方法

本发明公开了一种基于Transformer模型的注释生成和代码生成的双重模型方法，涉及机器翻译技术领域，其特征在于：包括以下步骤：(1)数据处理：将输入的代码和注释文档转换为固定大小的矩阵；(2)输入表示；(3)设置超参数，在训练过程中对损失函数的重要性进行加权；(4)预训练：使用LSTM模型对代码集合X和代码Y进行回归任务，得到代码先验概率P(x)和注释先验概率P(y)；(5)双重任务迭代训练；(6)输出。使用Transformer模型组合搭建双重模型架构能很好的平衡了注释生成和代码生成任务之间性能，并且解决了长依赖问题；在Transformer模型的基础上采用注释生成和代码生成之间的概率相关作为正则化项，并采用一种基于注意力的约束来保证在训练过程中两个模型的注意权重的相似性。