摘要
本发明提出一种基于大语言模型的代码补全方法及系统,该方法包括:基于Transformer架构训练大语言模型,并在解码阶段融入质量评估机制;将待补全代码片段及其上下文信息输入大语言模型;对待补全代码片段的上下文信息进行分析,为每个token位生成一组与上下文信息相匹配的候选token及其对应的概率分布;在解码阶段,结合质量评估机制和蒙特卡洛树搜索技术快速探索候选空间,为每个待补全的token位,筛选出最佳的token进行代码补全。本发明通过在Transformer解码阶段融入质量评估,能够即时排除低质量候选token,减少了错误补全和后续修正工作,同时结合蒙特卡洛树搜索高效探索候选空间,快速筛选出最佳token组合,提高代码补全的效率。
技术关键词
代码补全方法
蒙特卡洛树搜索
大语言模型
节点
训练神经网络模型
深度度量学习
解码器
阶段
序列
注意力机制
编码
输入模块
多层次
依序
策略