一种基于多模态的代码结构融入大模型方法及系统

本申请属于计算机技术领域，具体公开了一种基于多模态的代码结构融入大模型方法及系统，该方法包括：获取代码文本对应的代码属性图；输入代码属性图至图编码器，获取图编码器输出的图结构表示；输入代码文本和图结构表示至大语言模型，获取大语言模型输出的代码处理结果，大语言模型用于基于代码文本和图结构表示，按照代码处理任务对代码进行处理；其中，图结构表示与序列化语言表示在表征空间保持对齐，序列化语言表示是大语言模型中的文本编码器对代码文本进行序列化处理获取的。本申请通过引入多模态编码器，能够将代码的不同模态信息，如语法、语义、控制流、数据流等进行融合与处理，能够显著提升大模型对代码结构的理解能力。