一种模型的剪枝方法、装置及介质

AITNT
正文
推荐专利
一种模型的剪枝方法、装置及介质
申请号:CN202510671470
申请日期:2025-05-23
公开号:CN120181171B
公开日期:2025-08-12
类型:发明专利
摘要
本申请公开了一种模型的剪枝方法、装置及介质,该方法包括:获取包括多个不同任务的数据的文本数据,并通过文本数据,对预先构建好的目标大模型进行迭代训练,得到训练结果。根据训练结果,确定目标大模型中各模块在多个不同任务中的重要性得分;根据重要性得分,确定各模块的剪枝比例;并基于剪枝比例,对各模块进行迭代剪枝,直至达到预设迭代条件为止;当重要性得分越小时,剪枝比例越大,表征对应的模块在多个不同任务中的重要性越低。由此,根据模型中各模块在不同任务下的重要性得分,动态分配各模块的剪枝比例,保证重要性得分小,重要性低的模块分配较大剪枝比例进行剪枝。保证模型计算精度的同时,降低模型计算和存储资源。
技术关键词
剪枝方法 多任务 文本 剪枝装置 矩阵 模型剪枝 数据获取模块 处理器 基础 可读存储介质 存储器 程序 计算机
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号