摘要
本发明公开基于三阶联合蒸馏的供应链及电商采购领域大模型压缩与在线增量学习方法,包括:采集供应链合规文档和采购订单结构化数据并预处理,得到数据集;构建教师模型和学生模型,教师模型和学生模型均包括编码器、解码器和预测头;利用数据集对教师模型和学生模型进行三阶段知识蒸馏;采集新增数据,判断新增数据是否触发增量学习的条件,若是,则利用三阶段知识蒸馏得到的教师模型和学生模型进行增量学习,得到训练好的教师模型和学生模型;利用训练好的教师模型和学生模型进行协同推理,得到预测结果。通过分层迁移协议与多模态联合优化实现知识蒸馏,并结合在线增量学习机制应对电商促销、季节性需求、供应商报价浮动等数据分布漂移问题。
技术关键词
在线增量学习
蒸馏
教师
模型压缩
注意力
学生
解码器
Wasserstein距离度量
阶段
编码器
Softmax函数
电商
矩阵
表达式
数据分布
语义
排序损失
多模态特征融合
超参数