基于改进Transformer模型的代码摘要生成方法、系统及设备

本发明公开了一种基于改进Transformer模型的代码摘要生成方法、系统及设备，涉及代码语义分析技术领域；其中方法包括：对待处理语料段进行数据清洗后提取源Token；将所述源Token输入到改进Transformer模型中的预测网络和合作伙伴网络进行模型训练；所述预测网络和合作伙伴网络均包含深层注意力机制模块；在模型训练过程中，基于知识蒸馏原理，预测网络和合作伙伴网络相互学习，并优化预测网络；对优化后的预测网络使用交叉熵损失函数调优，得到训练好的改进Transformer模型；利用训练好的改进Transformer模型中的预测网络生成代码摘要；本发明所提供的方法能够更完整地学习到代码间的关联特征，生成更准确的代码摘要。