摘要
本发明公开了一种基于结构引导稀疏注意力机制的长代码摘要生成方法,属于软件工程领域。本发明主要解决了长代码片段中由于传统Transformer模型自注意力机制计算复杂度较高而导致的性能下降问题。本发明是一种基于抽象语法树(AST)和控制流图(CFG)的代码结构表征方法,通过融合抽象语法树和控制流图构建逻辑图,确保代码中的关键结构特征得到有效保留。在此基础上,引入了三种注意力分配机制,包括top‑k注意力分布、逻辑图注意力分布和局部注意力分布机制,将自注意力机制的计算稀疏化。通过这些技术创新,本发明在保证长代码上下文的高效感知的同时,抑制了无关信息的干扰,从而有效提升长代码摘要生成的质量。
技术关键词
代码摘要生成方法
注意力机制
抽象语法树
预训练语言模型
滑动窗口机制
高维特征向量
序列
代码结构
逻辑
表征方法
矩阵
技术创新
数据
层级
物理
解码器
样本