一种结合特征预训练和知识蒸馏的时序图学习方法

AITNT
正文
推荐专利
一种结合特征预训练和知识蒸馏的时序图学习方法
申请号:CN202410733183
申请日期:2024-06-07
公开号:CN118780346A
公开日期:2024-10-15
类型:发明专利
摘要
本发明属于信息技术领域,具体涉及一种结合特征预训练和知识蒸馏的时序图学习方法,本发明针对现有的时序图方法主要集中在低阶的时间信息上,而获取更高阶的邻居或社区信息则需要增加计算成本,从而显著影响模型效率的问题,提供了一种新的时序图学习方法,该方法将时序图中的信息分为时序级别、邻域级别、社区级别和全图级别;在训练过程中将时序级别的信息与一阶邻居结合起来,称为时序级结合;对于其他级别的信息,使用node2vec作为预训练模块生成预训练嵌入,这些嵌入作为获取附加信息的基础知识;该方法实现了跨不同模式的知识蒸馏,包括邻居级别的蒸馏、社区级别的分布和全图级别的传播。
技术关键词
学习方法 时序 节点 蒸馏 邻居 微调技术 社区结构 大语言模型 强度 度函数 教师 邻域 超参数 多层次 学生 概念 序列 模块 数据
系统为您推荐了相关专利信息
1
一种基于动态群体特征的引导型话题检测方法
话题检测方法 节点 多元线性回归算法 Softmax函数 挖掘方法
2
一种多模超声乳腺配多模融合方法
融合方法 乳腺 联合损失函数 组织 医学图像处理技术
3
电网负荷数据的异常修复方法和预测分析方法
节点 预测分析方法 负荷 ARIMA模型 序列
4
一种用于LED发光二极管光色检测分析方法及系统
LED发光二极管 光色参数 检测分析系统 构建时间序列模型 检测分析方法
5
一种云平台关联微服务故障预警方法及装置
异常数据 模态特征 卷积神经网络模型 故障预警方法 定位标签
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号