一种基于蒙特卡洛树贝叶斯优化的深度学习正则化方法

本发明涉及一种基于蒙特卡洛树贝叶斯优化的深度学习正则化方法，现有深度学习网络使用梯度下降方法训练以寻找目标函数的全局最小值的方法。然而，随机梯度下降方法仅针对凸问题有效。而对于非凸问题，深度学习还没能学习到目标函数的特性而找到全局最优解。另一方面，梯度下降算法针对一些任务，使用成本较高，不适应于复杂目标函数超参数的调节。本发明提供了一种基于蒙特卡洛树贝叶斯优化的深度学习正则化方法，通过二叉树递归的将函数空间划分为高函数值和低函数值两部分，有效的对高潜力的函数空间进行搜索，特别是在高维情况；在通过蒙特卡洛树划分出的局部空间内，使用基于信赖域的贝叶斯优化方法对目标函数进行高效的求解。