基于解耦知识蒸馏的模型训练方法、装置、设备及介质

AITNT
正文
推荐专利
基于解耦知识蒸馏的模型训练方法、装置、设备及介质
申请号:CN202411922274
申请日期:2024-12-25
公开号:CN119990254A
公开日期:2025-05-13
类型:发明专利
摘要
本申请提供了一种基于解耦知识蒸馏的模型训练方法、装置、设备及介质。本申请获取用于识别图像中目标对象的类别的教师模型和学生模型,将第一样本图像输入教师模型和学生模型,得到教师模型输出的第一特征和学生模型输出的第二特征;通过扩散模型去除第二特征中的噪声数据得到第三特征,扩散模型是基于噪声预测网络,根据第二样本图像以最小化学生模型输出的特征与教师模型输出的特征间的差异为目标训练得到的;根据第一特征和第三特征间的KL散度损失,通过反向传播算法对学生模型进行训练直至满足预设停止条件。本申请可实现教师模型输出的特征和学生模型输出的特征间的精确对齐,缩小教师模型和学生模型间的特征表征差距,提升模型训练效果。
技术关键词
模型训练方法 皮尔逊相关系数 学生 教师 噪声预测 噪声数据 传播算法 非暂态计算机可读存储介质 图像 样本 蒸馏 对象 模型训练装置 重构 处理器 输入模块 网络 存储器 电子设备
系统为您推荐了相关专利信息
1
锂电池剩余使用寿命预测方法、装置、设备、介质及产品
互补集合经验模态分解 序列 锂电池 剩余使用寿命 周期
2
一种预测高血糖相关卵巢癌发病风险模型的构建方法
血糖值 肿瘤标志物浓度 患者 数据 风险
3
工业负荷灵活性评估方法、装置、计算机设备和存储介质
负荷 指标 工业 灵活性评估方法 皮尔逊相关系数
4
一种隐私计算方法、装置、设备及存储介质
皮尔逊相关系数 隐私计算方法 同态加密算法 节点 矩阵乘法运算
5
高速公路稽核模型训练方法、装置、设备及存储介质
神经网络模型 数据 模型训练方法 样本 矩阵
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号