摘要
本说明书实施例提供面向代码生成任务的DocString提示压缩方法及装置,其中所述面向代码生成任务的DocString提示压缩方法包括:获取初始DocString,去除所述初始DocString中的目标符号,并对停用词进行语义相似性检查,确定目标DocString;将所述目标DocString转化为令牌,基于信息论原理,计算所述令牌对序列条件熵的重要性分数,并基于所述重要性分数对所述令牌进行排序,确定排序结果;基于所述排序结果选择预设数量的所述令牌作为候选压缩对象,并基于所述候选压缩对象的连续序列构建搜索空间;基于所述搜索空间和约束模型确定压缩提示。针对代码生成任务中的DocString进行压缩,能够动态调整压缩率,在保持生成代码质量的同时,显著减少了输入提示的长度,提高了模型的效率。
技术关键词
令牌
计算机可执行指令
对象
序列
数据压缩算法
语义
符号
生成代码
处理器
压缩装置
可读存储介质
模块
存储器
有效性
动态
定义