基于双分支网络架构的跨模态适配微调方法和系统

本发明公开了一种基于双分支网络架构的跨模态适配微调方法和系统，结合图神经网络对抽象语法树、控制流图等代码图结构的建模能力，与大型语言模型强大的语义理解与生成能力，实现跨模态的知识融合与迁移。采用双分支架构，分别编码图结构与文本输入，通过异构适配、结构解耦及掩码注意力机制实现特征交互。在微调阶段，提出三阶段策略：结构感知的基础微调、结合Adapter、Prefix Tuning与LoRA实现高效参数迁移、基于无监督文本重构任务优化语言生成质量与鲁棒性。训练阶段涉及节点预测、边重建与子图对比等结构感知任务，并结合课程学习提升稳定性与泛化能力。广泛适用于代码补全、问答、漏洞检测等任务，具有结构感知强、跨模态融合高效、训练成本低等优点。