摘要
本申请实施例提供多模型协同服务方法、装置、设备和存储介质,涉及模型服务领域。该方法将目标对话中当前提问数据输入任务难度判断大模型,基于目标对话的历史提问数据对当前提问数据进行难度解析得到任务难度。根据任务难度在至少一个任务处理模型中进行性能匹配,得到目标任务处理模型,再将当前提问数据发送至目标任务处理模型进行内容生成得到答案数据,获取答案数据对应的反馈结果,基于反馈结果和答案数据得到针对于当前提问数据的输出结果。结合对话中历史提问数据解析当前的任务难度,识别问题的真实计算需求。根据实时评估的任务难度动态匹配模型,将低端、高端算力芯片都用起来,在保证服务质量的前提下,使得资源利用率最大化。
技术关键词
协同服务方法
多模型协同
答案
数据
资源利用率最大化
接口
服务装置
策略
标识
电子设备
处理器
存储器
样本
模块
芯片
动态
参数
系统为您推荐了相关专利信息
UPS模块
并联控制系统
状态监测单元
故障检测单元
故障检测模块
设计优化方法
计算机可执行指令
多尺度
并行计算平台
拓扑优化技术