摘要
本发明公开了一种基于深度神经网络的数值预测方法,包括以下步骤:S1收集并预处理训练数据;S2构建一个包含至少一个注意力机制模块的轻量级神经网络模型;S3利用所述训练数据训练所述模型,最小化损失函数,采用均方误差作为损失函数;S4对所述模型进行知识蒸馏;S5利用所述更小模型进行数值预测,通过轻量级神经网络模型,能够减少计算资源需求,提高模型训练的速度和效率。通过知识蒸馏,可以减少推理时所需的计算资源,提高预测的效率。通过集成注意力机制,模型可以突出显示输入数据中的关键特征,提高模型预测结果的可解释性,通过数据增强技术扩展数据集,提高模型的泛化能力。通过残差连接,保证模型在深层网络中的稳定训练。
技术关键词
数值预测方法
深度神经网络
轻量级神经网络
注意力机制
数据
学生
教师
蒸馏
更新模型参数
初始化方法
优化器
标签
误差
离群点
金融
指标
序列
系统为您推荐了相关专利信息
光缆生产线
图像
缺陷位置信息
优化工艺流程
残次品率
工业互联网入侵检测方法
生成对抗网络
入侵检测模型
标签
训练样本数据