摘要
本发明公开了一种基于节点动态负载和任务关联性度量的并行任务调度方法,在服务器上构建计算资源虚拟化、基于强化学习的样本分配的全局调度器、基于混合驱动模型调度的局部调度器;预处理阶段:统计计算资源、进行计算资源虚拟化、GPU虚拟化复用技术、GPU加速等;面向测试任务并行优化的全局调度阶段:进行含有模糊时间的样本调度可行性分析、基于EXP3算法的计算节点选取、面向节点负载的样本调度;基于领域知识和数据混合驱动的多层次模型并行化阶段:包含模型内聚耦合度度量机制、模型耦合模式知识库、多层次模型并行化方法。本发明通过综合利用全局调度器和局部调度器,实现样本间并行度、样本内模型间并行,在各个领域有广泛应用价值和使用前景。
技术关键词
并行任务调度方法
网络带宽利用率
数据混合驱动
多臂赌博机
节点
GPU虚拟化
随机森林模型
物理计算资源
整体系统效率
度量
动态
计算机服务器
样本
多层次
阶段
虚拟化技术
资源环境数据
存储设备
系统为您推荐了相关专利信息
虚假信息检测方法
视频特征数据
文本
音频特征数据
Node2Vec算法
集成学习模型
肺腺癌早期诊断
质谱联用技术
多尺度
集成学习算法
数据采集节点
能耗评估模型
能耗优化方法
设备运行状态数据
多模态传感器