一种基于知识蒸馏的图神经网络模型压缩方法及系统

AITNT
正文
推荐专利
一种基于知识蒸馏的图神经网络模型压缩方法及系统
申请号:CN202410787972
申请日期:2024-06-18
公开号:CN118643861A
公开日期:2024-09-13
类型:发明专利
摘要
本发明公开了一种基于知识蒸馏的图神经网络模型压缩方法及系统,所述方法首先获取关系型数据集并进行数据预处理,获取图结构数据的节点集合和特征集合;然后采用迭代优化算法生成扰动确保添加的噪声经过优化,最大程度挑战了学生网络模型的性能;并采用多阶蒸馏将教师模型的最后一个全连接层的输出与中间层节点表征丰富信息相结合,促进更全面的知识转移;通过将扰动样本纳入训练过程,迫使学生网络模型专注于获取对任务至关重要的稳健特征,学习教师模型在不同数据上的高适应性,更有效地适应多样化的动态输。在模型训练过程中本方法采用联合损失策略来提高网络模型的节点分类精度,优于现有技术的方法。
技术关键词
联合损失函数 学生 蒸馏 教师 中间层 训练集数据 关系型数据 节点特征 噪声数据 节点分配标签 生成噪声 迭代优化算法 网络模型训练 对抗性 梯度下降算法 模型预训练
系统为您推荐了相关专利信息
1
基于知识蒸馏的模型训练方法、装置、电子设备与可读存储介质
预测特征 学生 教师 网络 模型训练方法
2
一种适用于大规模分布式电源有序接入的综合评价方法及系统
大规模分布式电源 综合评价方法 指标 参数 层次分析法
3
音频修复方法、装置、设备、存储介质以及程序产品
音频修复方法 信号 数据 编码器模块 学生
4
一种用于跨语言依存解析的隐式单词重新排序方法
排序方法 排序算法 自然语言 教师 解析器
5
一种基于多任务学习模型的遥感冬小麦识别方法
冬小麦识别方法 多任务学习模型 注意力 多光谱遥感影像 多层感知机
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号