摘要
本申请公开了一种模型的剪枝方法、装置及介质,该方法包括:获取包括多个不同任务的数据的文本数据,并通过文本数据,对预先构建好的目标大模型进行迭代训练,得到训练结果。根据训练结果,确定目标大模型中各模块在多个不同任务中的重要性得分;根据重要性得分,确定各模块的剪枝比例;并基于剪枝比例,对各模块进行迭代剪枝,直至达到预设迭代条件为止;当重要性得分越小时,剪枝比例越大,表征对应的模块在多个不同任务中的重要性越低。由此,根据模型中各模块在不同任务下的重要性得分,动态分配各模块的剪枝比例,保证重要性得分小,重要性低的模块分配较大剪枝比例进行剪枝。保证模型计算精度的同时,降低模型计算和存储资源。
技术关键词
剪枝方法
多任务
文本
剪枝装置
矩阵
模型剪枝
数据获取模块
处理器
基础
可读存储介质
存储器
程序
计算机