一种用于大语言模型的编码动态补全方法

AITNT
正文
推荐专利
一种用于大语言模型的编码动态补全方法
申请号:CN202510564227
申请日期:2025-04-30
公开号:CN120085873B
公开日期:2025-07-11
类型:发明专利
摘要
本发明提出一种用于大语言模型的编码动态补全方法,该方法包括:构建混合训练数据集;初始化融合概率空间拓扑变换的Transformer模型架构;基于混合训练数据集,执行主目标与辅目标协同优化的模型训练;在解码每一步,模型根据当前上下文计算下一个token的概率分布;通过球面概率映射将生成的概率分布约束在有效概率子空间内,结合禁忌表机制,实时过滤语法错误候选并调整概率分布;根据当前解码深度动态选择采样策略,从调整后的概率分布中采样得到下一个代码片段,最终生成符合抽象语法树规则和语义约束的代码补全建议。本发明结合概率分布约束和禁忌表机制,模型能够动态调整生成的概率分布,使更合适的候选token获得更高的概率,从而提高代码补全的准确性。
技术关键词
补全方法 大语言模型 生成代码 球面 抽象语法树 解码 序列 策略 Softmax函数 八面体 动态更新 语义 参数 有效性 映射方法 编码器 注意力机制
系统为您推荐了相关专利信息
1
一种基于大语言模型的养老智能服务终端
智能服务终端 大语言模型 屏幕显示模块 鼾声检测 姿势识别
2
媒体数据的生成方法、装置、设备、存储介质及程序产品
媒体 滑动窗口 生成方法 因子 曲线
3
图像生成方法、智能驾驶模型的训练方法、装置和设备
实体 生成道路 场景 文本 图谱
4
基于生成式大语言模型的公文敏感信息审查系统及方法
大语言模型 敏感信息识别 识别敏感信息 梯度下降算法 矩阵
5
一种基于大语言模型的训练数据增强系统及方法
文本 数据样本集合 大语言模型 标志位 元素
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号