摘要
本发明提供了一种基于架构蒸馏技术的生成对抗网络架构搜索方法和系统,所述方法定义一个搜索空间,构建融合了所有候选操作的超网,对超网进行预热训练,经过初始的预热训练后,评估子网的性能,筛选出对网络性能不利的操作并丢弃。在超网的训练过程中,通过架构知识蒸馏方法进行网络权重优化,设计匹配优化网络以有效地选择教师网络,使教师网络与学生子网达到最优匹配,通过架构蒸馏技术将教师网络的知识传递给其他子网,以指导超网训练。使用多目标优化策略挑选出超网中表现最佳的网络架构。本发明通过架构间的知识传递,提升子网的训练效果,相比传统的搜索方法具有更高的效率和更好的性能,能够更快地找到适合任务的最优神经网络架构。
技术关键词
生成对抗网络架构
教师
搜索方法
反向传播方法
生成器网络
传播算法
图像
参数
知识蒸馏技术
知识蒸馏方法
随机噪声
上采样
神经网络架构
节点
指数
搜索系统
系统为您推荐了相关专利信息
风机故障预警方法
混合预测模型
输出预警信息
齿轮箱轴承
滑动时间窗
生成器网络
模型训练方法
图像
视频超分辨率方法
视频帧
一体化系统
教学
医院
数据采集模块
人体姿态估计算法