语言任务处理方法、系统、设备、存储介质及程序产品

AITNT
正文
推荐专利
语言任务处理方法、系统、设备、存储介质及程序产品
申请号:CN202510526403
申请日期:2025-04-25
公开号:CN120068846B
公开日期:2025-07-01
类型:发明专利
摘要
本发明公开了一种语言任务处理方法、系统、设备、存储介质及程序产品,涉及人工智能技术领域。其中,方法包括根据语言任务处理模型在执行语言任务过程中的资源需求信息确定其在预填充阶段和解码阶段的资源配置信息。从当前请求批请求中获取相匹配数量的目标请求段,对其进行预填充并行处理生成当前词元批。通过获取最新生成的词元批中各词元的下一个词元构成新的词元批的方式,生成多个新词元批,以满足合并批至词元批长度的条件。通过多个流水线并行对各词元批进行解码,并根据各任务处理请求的所有请求段的解码结果得到对应的语言任务处理结果。本发明可以解决相关技术在执行语言任务时存在资源利用不饱和的问题,能够有效提高资源利用率。
技术关键词
资源配置信息 处理器 流水线 队列 内存占用量 阶段 总量 新词 解码资源 主机 键值 节点 可读存储介质 点对点 存储计算机程序 人工智能技术 计算机程序产品
系统为您推荐了相关专利信息
1
数据库的优化方法、装置、电子设备及存储介质
计算机执行指令 结构化查询语言 化工 数据库管理设备 机器人
2
基于模块化电动车辆的客运服务路径优化方法及系统
路径优化方法 人流密集区域 邻域搜索算法 模块化车辆 充电策略
3
一种基于人工智能的业务触发系统和方法及设备
业务触发系统 元素 业务触发方法 智能业务触发 软件
4
一种基于句子语义感知的数据管理方法及相关设备
令牌 语义向量 数据管理方法 注意力 文本
5
低照度彩色偏振图像的增强方法及系统
深度学习模型 照度 图像 偏振相机 参数
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号