摘要
本说明书实施例提供一种代码嵌入模型的训练方法,包括:利用编码模块处理目标输入,得到其中各字符的输出向量。利用文本域代码共享的聚合模块,基于第一锚点句向量,对各字符的输出向量进行基于注意力机制的第一聚合处理,得到目标输入的第一特征向量。利用目标输入的类型专用的目标聚合模块,分别基于该目标聚合模块对应的目标数目的第二锚点句向量,对各字符的输出向量进行基于注意力机制的第二聚合处理,得到目标输入的第二特征向量。基于样本集中各文本和各代码片段各自的第一和第二特征向量,确定预测损失,并基于其更新第一和第二聚合模块以及第一和第二锚点句向量。
技术关键词
文本
编码模块
字符
注意力机制
子模块
网络
旁路
重构
处理单元
样本
微调单元
查询装置
查询方法
算法
训练装置
计算机
可读存储介质
存储器
系统为您推荐了相关专利信息
文本输出方法
字词
大语言模型
答题数据
文本输出装置
排放预测方法
多尺度特征提取
集合经验模态分解
序列
噪声技术