摘要
本发明公开了一种用于低数据环境下的多模型协同方法,包括:构建专家模型池,确定每个专家模型的初始位置和初始速度、效用值;通过协同搜索动态更新专家模型池中每个专家模型的速度和位置,评估专家模型池全局最佳位置和每个专家模型个人最佳位置;在协同搜索过程中,动态调整每个专家模型在专家模型池中的协同搜索路径,优化每个专家模型;根据所有专家模型的收敛状态判断当前协同搜索过程是否结束,是则返回专家模型池全局最佳模型作为最终优化结果;在专家模型池中,选取效用值大于效用阈值的专家模型作为教师模型,选取需要相同任务类型的效用值小于效用阈值的专家模型作为学生模型,通过教师模型对学生模型进行知识蒸馏指导,优化学生模型。
技术关键词
协同方法
位置更新
学生
联合损失函数
数据
教师
动态更新
蒸馏
速度
模型更新
标签
索引
因子
定义
参数
系统为您推荐了相关专利信息
知识点
启发式搜索
风险预测方法
风险预测模型
热力图
振动检测方法
回音壁模式
状态空间模型
光纤引导技术
微腔
网络身份认证
管理方法
身份认证请求
模式
安全策略执行
数据监控预警
监控预警方法
监控平台
监控预警系统
预警模型