摘要
本发明公开了一种语言任务处理方法、系统、设备、存储介质及程序产品,涉及人工智能技术领域。其中,方法包括根据语言任务处理模型在执行语言任务过程中的资源需求信息确定其在预填充阶段和解码阶段的资源配置信息。从当前请求批请求中获取相匹配数量的目标请求段,对其进行预填充并行处理生成当前词元批。通过获取最新生成的词元批中各词元的下一个词元构成新的词元批的方式,生成多个新词元批,以满足合并批至词元批长度的条件。通过多个流水线并行对各词元批进行解码,并根据各任务处理请求的所有请求段的解码结果得到对应的语言任务处理结果。本发明可以解决相关技术在执行语言任务时存在资源利用不饱和的问题,能够有效提高资源利用率。
技术关键词
资源配置信息
处理器
流水线
队列
内存占用量
阶段
总量
新词
解码资源
主机
键值
节点
可读存储介质
点对点
存储计算机程序
人工智能技术
计算机程序产品
系统为您推荐了相关专利信息
计算机执行指令
结构化查询语言
化工
数据库管理设备
机器人
路径优化方法
人流密集区域
邻域搜索算法
模块化车辆
充电策略
业务触发系统
元素
业务触发方法
智能业务触发
软件