基于AI的大数据分布式计算任务自动优化方法及系统

本发明提供基于AI的大数据分布式计算任务自动优化方法及系统，涉及AI技术领域，包括构建多模态时空特征感知网络提取任务和资源的时空特征，并训练层次化混合决策网络进行全局任务调度和局部资源分配。全局策略网络采用分层深度强化学习架构，结合蒙特卡洛树搜索和优先级经验回放生成决策；局部执行网络基于图神经网络和多智能体协同学习优化局部部署。此外，部署分布式异常检测网络实时监控性能，并通过强化迁移学习实现自适应调优，最终通过知识蒸馏更新感知网络，实现模型进化。本发明能够有效提高大数据分布式计算任务的执行效率和资源利用率，降低系统运营成本。