基于带宽适应核密度估计的无梯度优化增强插件算法

本发明公开了一种基于带宽自适应的无梯度优化增强插件算法，涉及计算机科学与技术领域，用于增强传统基于梯度信息的优化方法在复杂非凸任务、多模态数据及高维参数空间场景下的优化性能。该插件引入无梯度优化策略，设计了启发式带宽调整机制，利用记忆机制并基于记忆空间中的先验梯度范数和参数方差，精准指导核密度估计的采样方向和幅度，实现传统优化器在参数空间的自适应采样，大幅增加模型全局搜索能力。同时，采用循环学习率调度方法，自适应调整传统优化器在不同优化阶段的学习率，进一步提升优化效率和稳定性。经多种典型应用场景的基准性能测试、消融试验证明，该发明适用于增强基于梯度信息的传统优化器在无、弱梯度优化场景的优化性能，且对参数依赖性低，为复杂优化问题提供了创新且有效的解决方案。