摘要
本发明公开了一种基于知识蒸馏的图神经网络模型压缩方法及系统,所述方法首先获取关系型数据集并进行数据预处理,获取图结构数据的节点集合和特征集合;然后采用迭代优化算法生成扰动确保添加的噪声经过优化,最大程度挑战了学生网络模型的性能;并采用多阶蒸馏将教师模型的最后一个全连接层的输出与中间层节点表征丰富信息相结合,促进更全面的知识转移;通过将扰动样本纳入训练过程,迫使学生网络模型专注于获取对任务至关重要的稳健特征,学习教师模型在不同数据上的高适应性,更有效地适应多样化的动态输。在模型训练过程中本方法采用联合损失策略来提高网络模型的节点分类精度,优于现有技术的方法。
技术关键词
联合损失函数
学生
蒸馏
教师
中间层
训练集数据
关系型数据
节点特征
噪声数据
节点分配标签
生成噪声
迭代优化算法
网络模型训练
对抗性
梯度下降算法
模型预训练
系统为您推荐了相关专利信息
大规模分布式电源
综合评价方法
指标
参数
层次分析法
冬小麦识别方法
多任务学习模型
注意力
多光谱遥感影像
多层感知机