摘要
本发明实施例提供了一种任务调度方法、装置、中心服务器及存储介质,涉及大语言模型技术领域。方法包括:获取待预填充文本单元的第一数目;计算目标处理结果的文本单元的预测数目与已生成文本单元的数目的差值,得到第二数目;从各执行服务器中确定备选执行服务器;针对每一备选执行服务器,基于第一数目和第二数目,预测该备选执行服务器所需的时长;基于各备选执行服务器所需的时长,从各备选执行服务器中确定目标执行服务器,并向目标执行服务器发送待处理文本,以使目标执行服务器基于大语言模型,使用目标执行服务器当前可用的目标资源对待处理文本进行处理,可以均衡使用服务器的计算资源和存读资源。
技术关键词
文本
大语言模型
任务调度方法
阶段
中心服务器
资源
解码
任务调度装置
通信接口
可读存储介质
存储器
处理器
数据迁移
样本
模块
字符
计算机
编码
系统为您推荐了相关专利信息
交叉注意力机制
线性变换矩阵
视觉
适配器
Softmax函数
模拟集成电路测试
激励生成方法
组合故障
多阶段
拉丁超立方采样
服务交互数据
信任度模型
语音
计算机可读指令
文本
特征联合学习
卷积特征
数显仪表读数
文本识别模型
模糊推理